Files
javis_bot/docs/v2/roadmap.md
javis-bot 54a465948a feat(memory): v2 conversation history store and its context in the reply prompt
- src/jarvis/memory/history.py keeps voice transcripts, Jarvis's answers,
  registered chat channel messages (with edits and deletes) and voice channel
  presence in one SQLite file. Every read is scoped to the asker: own records
  always, chat channels and others' words (only while the asker was in the
  same voice channel) behind settings, plus an optional since and off.
- Search is language-agnostic: Unicode words, prefixes keeping 60% of the
  word, rarer words weigh more, newer wins ties. 100k records search in
  24-61 ms here. context() returns the recent window and the matches cut to a
  token budget, matches at most half so chatter cannot push out the record
  the question is about.
- run_reply_engine(history=...) puts that context into the system prompt
  under "Information shared in previous conversations", fenced as data.
  evals/test_history_context_recall.py: with the block qwen2.5:7b answers the
  stored day in Korean and English (3 of 3 runs), without it the day is unknown.
- Spec history.spec.md, registry entry in CLAUDE.md, reply.spec.md,
  docs/llm_contexts.md, docs/v2/memory.md and roadmap updated.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-11 12:45:33 +09:00

14 KiB

구현 단계와 위험 요소

구현 단계

단계 내용 완료 기준
M0 게임PC 사전 검증 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 가상 모니터 확인을 뺀 모든 항목 측정 완료(2026-11-10). 가상 모니터 확인은 M6에서 합니다. 2026-11-10에 추가한 desktop 단계(agent-desktop)는 측정을 마쳤고, 자동 성능 조절용 gamemode 단계는 세 번 쟀고, gamemode_stt(LLM과 STT를 함께 켬, STT GPU·CPU)와 gamemode_live(실제 게임을 켬) 단계도 측정을 마쳤습니다(2026-11-10). 결과로 게임 중 최소 배치는 전문가 2GB로 정했고, 평소 배치에 STT 자리를 남기는 것과 게임 중 LLM이 답하는 동안 부분 전사 간격을 늘리는 것(게임이 없을 때는 그대로)도 정했습니다(사용자 결정, 2026-11-10). gamemode_tune 단계도 측정을 마쳤고(2026-11-11), 게임 중 LLM이 답하는 동안에는 부분 전사를 멈추기로 정했습니다. GPU 95% 제한은 측정에서 사용률을 낮추지 못해 기본값을 끔으로 바꿨고(사용자 결정, 2026-11-11), video_drops 단계(Jarvis를 돌리는 동안 유튜브 영상의 끊긴 프레임, 직접 실행)도 측정을 마쳤습니다(2026-11-11). Jarvis가 바쁠 때도 영상이 끊기지 않았고 제한이 끊김을 줄이지 못해 설정을 뺐습니다. 대신 게임 화면의 프레임을 직접 재는 game_frames 단계(게임을 켠 채로 Jarvis를 끈 때·쉴 때·바쁠 때와 우선순위를 낮춘 양보 상태, 직접 실행, 관리자 권한)를 넣었고 측정을 마쳤습니다(2026-11-11). Jarvis가 바쁠 때도 게임의 평균 fps와 1% low가 5% 넘게 떨어지지 않아 양보는 넣지 않기로 했습니다. 남은 M0 측정은 가상 모니터 확인(M6)입니다. 측정 키트: scripts/m0/
M1 음성 워커 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과. 구현과 테스트 완료(2026-11-11): src/voice_worker/, 스펙은 voice_worker.spec.md. 이 서버의 RTX 5050에서 10명이 겹쳐 말하는 실시간 입력(48kHz 스테레오, M0 한국어 샘플 8개를 10명에게 나눠 줌, 절반은 디스코드 speaking 종료, 절반은 무음으로 끝남)을 넣어 10명 모두 최종 전사를 받았고 문자 오류율은 평균 4%, 최대 19%("일곱 시"를 "7시"로 적은 것), 말 끝 판정부터 최종 전사 전송까지 중앙값 0.64초, 최대 1.56초였습니다. TTS는 첫 문장 소리가 0.2초에 나왔고, 그 소리를 다시 넣으면 같은 문장으로 받아 적혔습니다. 샘플이 MeloTTS 합성 음성이라 실제 사람 녹음과 게임PC 수치는 아직 없습니다
M2 디스코드 음성 코어 이전 v1 봇 기능을 새 앱 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기). 구현과 테스트 완료(2026-11-11): app/(Rust, serenity + songbird), 스펙은 discord_core.spec.md. 처음 Electron + TypeScript로 만든 것을 사용자 요청으로 Rust로 다시 씀. 앱이 음성 워커를 띄우고(실행마다 새 토큰, 죽으면 다시 시작) 연결이 끊기면 다시 붙습니다. 음성 채널에 들어갈 때마다 전사 고지를 채널 채팅에 올립니다. songbird 0.6.1의 DAVE 수신 해독이 조각 3분의 1가량을 깨뜨려서(20ms마다 음이 바뀌는 시험 신호로 확인, 보내기는 정상) 받은 패킷의 순서 맞추기와 Opus 해독은 앱이 직접 합니다. 실제 디스코드에서 봇 두 개로 확인(이 서버의 RTX 5050): 다른 봇이 채널에 튼 녹음 문장 5개를 모두 받아 적었고(문자 오류율 3개 0%, "기록해"를 "비록해"로 적은 1개 5%, "일곱 시"를 "7시"로 적은 1개 12.5%), 말이 끝난 뒤 최종 전사까지 0.71~0.90초였습니다. 자비스가 말한 문장을 상대 봇이 받아 다시 전사하니 오류율 3.4%였고, 정지 명령 뒤 0.08초 만에 소리가 끊겼습니다. 채팅 채널은 새 글 받기, 최근 글 읽기, 보내기(2,000자 넘으면 나눔, 아무도 호출하지 않음)가 됩니다. 사람이 직접 말한 소리와 게임PC(Windows) 빌드는 아직 확인하지 않았고, 음성으로 "자비스, 멈춰"는 호출 판정이 필요해 M4에서 합니다
M3 두뇌 연결 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과. 1단계 완료(2026-11-11): LLM 주소가 /v1로 끝나면 OpenAI 호환 방식(/chat/completions, /embeddings)으로 부름. 형식 변환은 src/jarvis/llm.py 한곳에서 하고 두뇌의 나머지 코드는 그대로 씀. 대화, 도구 호출, 스트리밍, 의도 판정, 받아쓰기 정리, 미리 불러오기가 모두 이 방식으로 감. 이 서버 Ollama의 /v1 주소와 qwen2.5:7b로 실제 두뇌 한 턴을 돌려 "서울 날씨 어때?"에 날씨 도구를 부르고 그 결과로 답하는 것을 확인함. Strata에는 임베딩 모델이 없어 지난 기록 검색은 낱말 검색으로 함. 2단계 완료(2026-11-11): 대화 기록 저장소 src/jarvis/memory/history.py(스펙 history.spec.md). 음성 전사, 자비스의 답, 채팅 채널 글, 음성 채널 출입 시간을 저장하고, 묻는 사람이 볼 수 있는 기록(본인 기록, 채팅 채널, 함께 있던 동안의 다른 사람 말)만 찾음. 기록 10만 개에서 검색 24~61ms. 두뇌는 찾은 기록을 받아 지시문에 참고 자료로 넣음(평가 evals/test_history_context_recall.py, qwen2.5:7b에서 3번 모두 통과). 남은 일: 앱이 음성 워커에 전사·채팅·출입을 알리고 워커가 두뇌를 불러 답하는 연결, 채팅 채널 도구, 기존 평가 통과 확인
M4 왕복 완성과 지연 튜닝 호출어·호출 방식·지정한 사람 설정, 동시 대화 응답 정책 4가지(기본 "처음 대화만")와 정책별 끼어들기 규칙. 말 끝부터 첫 소리까지 실측 1.5초 이내, 10명 채널 부하 테스트
M5 관리 앱 기본 첫 실행 마법사, 데이터 폴더, 런타임·모델 자동 설치, 대시보드, 봇/채널·호출/채팅 채널(디스코드 채널 이름·주제 반영 포함)/대화 기억/모델 설정, 로그 화면(보기·복사·다운로드)
M6 기능 화면과 브라우저 기능 켜기/끄기, MCP 관리, 봇용 크롬(가상 모니터에 둠, Virtual Display Driver 포함), 예약 수집 틀(대상은 비움). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치 확인
M7 PC 제어와 화면 보기 아래 목록에 있습니다.
M8 배포 설치 파일, 자동 업데이트, 깨끗한 Windows에서 설치부터 첫 대화까지 확인

M0에서 확인할 항목:

  • Strata에서 빠름/권장 모델의 실제 속도와 첫 토큰 시간(맥락 길이별)
  • 도구 호출·이미지 입력 가능 여부
  • 화질 단계별 이미지 읽기 시간
  • 한국어 품질
  • 게임 모드 전환 시간, 모델 배치별 출력 속도·음성 첫 문장·남는 VRAM (gamemode 단계)
  • LLM과 STT(10명 동시 전사)를 함께 켰을 때 남는 VRAM과 양쪽 속도, 게임 중 STT를 CPU로 옮겼을 때의 전사 시간 (gamemode_stt 단계), 실제 게임을 켠 채로 같은 측정 (gamemode_live 단계, 직접 실행), 평소 배치에 STT 자리와 다른 프로그램용 여유 1GB를 남겼을 때, 게임 중 배치에서 LLM이 답하는 동안 부분 전사 간격을 늘렸을 때, GPU 사용률을 95%로 제한했을 때의 양쪽 속도와 실제 GPU 사용률 (gamemode_tune 단계), Jarvis를 끈 때·쉴 때·바쁠 때(제한 없이와 95%) 유튜브 영상의 끊긴 프레임 수 (video_drops 단계, 직접 실행), 게임을 켠 채로 Jarvis를 끈 때·쉴 때·바쁠 때와 바쁠 때 우선순위를 낮춰 양보했을 때 게임 화면의 평균 fps·1% low·50ms 넘는 프레임 수 (game_frames 단계, 직접 실행)
  • faster-whisper turbo와 MeloTTS/CosyVoice2 속도
  • 봇용 크롬창의 Alt+Tab 숨김과 디스코드 화면공유 목록 표시
  • 디스코드 분리 화면공유 창 식별과, 가려졌을 때 영상이 멈추는지
  • 설치된 게임으로 테두리 없는 창 게임 감지와 안티치트 감지
  • agent-desktop으로 프로그램 조작(계산기 버튼 누르기, 브라우저 입력칸에 값 넣기), 디스코드 화면 읽기 시간, 계속 켜 두는 방식(MCP)과 매번 실행하는 방식의 속도 (desktop 단계)

M7 완료 기준:

  • 전체·모니터별·창별 화면 보기
  • 빠른 화면 응답(캡처 미리 준비, 화질 단계)
  • 캡처 제외 목록
  • 분리된 화면공유 창 보기
  • 봇용 크롬창 화면공유 표시
  • agent-desktop으로 프로그램 조작, 접근성 정보가 없는 화면만 키보드·마우스 제어, 비상 정지
  • 안티치트 감지·차단 안내
  • 게임 감지(테두리 없는 창 포함)와 자동 성능 조절(평소·게임 중 배치 전환, 첫 실행 자가 점검, 실행 중 지연 감시), 게임 중 일시정지(게임에 양보는 game_frames 결과로 넣지 않음)

M0M4는 "더 빠르고 똑똑한 음성 대화"의 핵심이고, M5M8은 "설치 하나로 끝나는 관리 앱"입니다. 로그 화면은 M5에 넣어서 그 뒤 테스트할 때부터 바로 쓸 수 있게 합니다. M4까지 끝나면 GUI 없이도 새 엔진을 먼저 써 볼 수 있습니다.

위험 요소와 대응

위험 대응
Strata가 도구 호출이나 동시 요청을 지원하지 않음 M0에서 둘 다 지원 확인. 다만 빠름 모델이 "5분 타이머 맞춰 줘"에서 3번 모두 도구를 부르지 않고 "설정했습니다"라고만 답함(12번 중 9번 성공). 지시문 규칙과 "건너뛴 도구 직접 실행" 장치로 고쳤고 평가(evals/test_tool_skip_confabulation.py)에 넣음. 게임PC 재측정(2026-11-10)에서 빠름 모델은 27번 모두 통과. 권장 모델은 도구가 필요 없는 부탁에 상관없는 도구를 부르는 문제가 남아(27번 중 24번, 덜 압축된 모델도 같음) 뺐고, 모델은 Qwen3.6-35B-A3B 하나만 씀
게임과 VRAM 경쟁 자동 성능 조절: 게임을 감지하면 같은 모델을 VRAM을 덜 쓰는 배치로 다시 시작. 게임 중 일시정지는 선택. VRAM 사용량 실시간 표시
게임 중 배치로 바꾸는 동안(이전 측정 약 52초) 답을 못 함 들어온 요청은 대기열에 두고 한 번만 안내. 하던 답은 끝낸 뒤 전환. 엔진이 실행 중 VRAM 줄이기를 지원하면 다시 시작 없는 방식으로 바꿈
게임 중에는 RAM에 둔 전문가 층을 CPU가 계산해 게임과 CPU를 나눠 씀 M0 gamemode에서 CPU 작업자 수를 줄인 배치도 잼. 게임 중 답이 기준보다 느리면 대시보드에 표시하고, 일시정지를 켤 수 있음
테두리 없는 창 게임을 놓치거나 일반 프로그램을 게임으로 잘못 봄 창 모양 + GPU 사용량 + 게임 폴더를 같이 보고, 게임 목록·"게임 아님" 목록으로 바로잡음. 감지 이유를 대시보드에 표시
agent-desktop.exe에 코드 서명이 없어 백신이나 SmartScreen이 막을 수 있음 우리 설치 파일 안에 넣어 따로 실행 경고가 뜨지 않게 하고, 버전을 고정해 해시를 확인함. 백신이 막으면 첫 실행 점검에서 안내
크롬·디스코드(크로미움) 화면은 처음 읽을 때 목록이 덜 채워짐(켠 직후 10~25초) M0 desktop에서 테스트 창은 띄우고 2.9초 뒤 읽힘. 디스코드 읽기 시간은 gamemode와 함께 다시 잼. 자주 쓰는 창은 미리 한 번 읽어 둠
안티치트 목록에 없는 게임에서 자동 입력 GUI에서 직접 추가, 앱 업데이트로 목록 확장. 독점 전체화면 게임 중에는 자동 입력 기본 차단 유지
LLM이 이미지 입력을 지원하지 않거나 이미지 읽기가 느림 M0에서 측정. 화질 단계 낮추기, 창 단위 캡처, 이미지 전용 소형 모델 예비안
분리된 화면공유 창이 가려지면 영상이 멈춤 M0에서 가려져도 계속 그려짐을 확인. 옮겨 둘 필요 없음
Message Content Intent가 꺼져 있으면 채팅을 못 읽음 첫 실행 마법사와 대시보드에서 확인·안내
CUDA 13은 드라이버 580 이상 필요 첫 실행 점검에서 확인하고 안내. 안 되면 CUDA 12 빌드 사용
서명 안 된 exe라 SmartScreen 경고 처음에는 "추가 정보 → 실행"으로 안내. 필요하면 코드 서명 인증서 구매 검토(유료)
디스코드 음성 암호화(DAVE) 변경 v1에서 쓰는 @snazzah/davey 기반 유지, 라이브러리 업데이트 추적
모델 다운로드가 약 23GB 이어받기, 해시 검증, 진행률 표시
CosyVoice2 한국어 품질·속도 미검증 M0에서 측정 결과 기준 미달. MeloTTS만 기본 제공
디스코드 화면공유 목록이 Alt+Tab에서 숨긴 창도 빼 버림 M0에서 실제로 빠짐을 확인. 가상 모니터 방식으로 감(Virtual Display Driver 포함, 설치 승인받음)
지난 대화를 많이 넣을수록 첫 소리가 늦어짐 관련 부분만 검색해 넣고 분량 상한을 둠. GUI에 예상 지연 표시
일부 화면이 검게 캡처됨 (보호 영상, 독점 전체화면 게임) 테두리 없는 창 모드 안내. 캡처 실패 시 자비스가 "그 화면은 볼 수 없다"고 그대로 말함