Files
javis_bot/docs/v2/roadmap.md
javis-bot 73fa93f346 docs(v2): record the recommended model rerun and drop the multi-sharer confirm
Keep the fast model as the default: the recommended model decodes faster
(131 vs 82 tok/s) but starts every voice answer, long-context reply and
image answer later. Note its working VRAM shrink for game mode and its
fabricated weather answer for the M3 evals.

A named share question now captures the popout straight away when that
person is sharing, even with several sharers (user decision).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-10 14:14:28 +09:00

6.1 KiB

구현 단계와 위험 요소

구현 단계

단계 내용 완료 기준
M0 게임PC 사전 검증 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 가상 모니터 확인을 뺀 모든 항목 측정 완료(2026-11-10). 가상 모니터 확인은 M6에서 합니다. 측정 키트: scripts/m0/
M1 음성 워커 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과
M2 디스코드 음성 코어 이전 v1 봇 코드를 Electron 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기)
M3 두뇌 연결 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과
M4 왕복 완성과 지연 튜닝 호출어·호출 방식·지정한 사람 설정, 동시 대화 응답 정책 4가지(기본 "처음 대화만")와 정책별 끼어들기 규칙. 말 끝부터 첫 소리까지 실측 1.5초 이내, 10명 채널 부하 테스트
M5 관리 앱 기본 첫 실행 마법사, 데이터 폴더, 런타임·모델 자동 설치, 대시보드, 봇/채널·호출/채팅 채널(디스코드 채널 이름·주제 반영 포함)/대화 기억/모델 설정, 로그 화면(보기·복사·다운로드)
M6 기능 화면과 브라우저 기능 켜기/끄기, MCP 관리, 봇용 크롬(가상 모니터에 둠, Virtual Display Driver 포함), 예약 수집 틀(대상은 비움). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치 확인
M7 PC 제어와 화면 보기 아래 목록에 있습니다.
M8 배포 설치 파일, 자동 업데이트, 깨끗한 Windows에서 설치부터 첫 대화까지 확인

M0에서 확인할 항목:

  • Strata에서 빠름/권장 모델의 실제 속도와 첫 토큰 시간(맥락 길이별)
  • 도구 호출·이미지 입력 가능 여부
  • 화질 단계별 이미지 읽기 시간
  • 한국어 품질
  • 게임 모드 전환 시간
  • faster-whisper turbo와 MeloTTS/CosyVoice2 속도
  • 봇용 크롬창의 Alt+Tab 숨김과 디스코드 화면공유 목록 표시
  • 디스코드 분리 화면공유 창 식별과, 가려졌을 때 영상이 멈추는지
  • 설치된 게임으로 테두리 없는 창 게임 감지와 안티치트 감지

M7 완료 기준:

  • 전체·모니터별·창별 화면 보기
  • 빠른 화면 응답(캡처 미리 준비, 화질 단계)
  • 캡처 제외 목록
  • 분리된 화면공유 창 보기
  • 봇용 크롬창 화면공유 표시
  • 키보드·마우스 제어와 비상 정지
  • 안티치트 감지·차단 안내
  • 게임 감지(테두리 없는 창 포함)와 게임 모드 (a)(b)(c)

M0M4는 "더 빠르고 똑똑한 음성 대화"의 핵심이고, M5M8은 "설치 하나로 끝나는 관리 앱"입니다. 로그 화면은 M5에 넣어서 그 뒤 테스트할 때부터 바로 쓸 수 있게 합니다. M4까지 끝나면 GUI 없이도 새 엔진을 먼저 써 볼 수 있습니다.

위험 요소와 대응

위험 대응
Strata가 도구 호출이나 동시 요청을 지원하지 않음 M0에서 둘 다 지원 확인. 다만 빠름 모델이 "5분 타이머 맞춰 줘"에서 3번 모두 도구를 부르지 않고 "설정했습니다"라고만 답함(12번 중 9번 성공). M3 평가(evals)에 이 경우를 넣고, 안 되면 플래너(JSON) 방식으로 도구를 고르게 함
게임과 VRAM 경쟁 게임 모드(RAM 위주/빠름 모델/일시정지 각각 켜기), VRAM 사용량 실시간 표시
테두리 없는 창 게임을 놓치거나 일반 프로그램을 게임으로 잘못 봄 창 모양 + GPU 사용량 + 게임 폴더를 같이 보고, 게임 목록·"게임 아님" 목록으로 바로잡음. 감지 이유를 대시보드에 표시
안티치트 목록에 없는 게임에서 자동 입력 GUI에서 직접 추가, 앱 업데이트로 목록 확장. 독점 전체화면 게임 중에는 자동 입력 기본 차단 유지
LLM이 이미지 입력을 지원하지 않거나 이미지 읽기가 느림 M0에서 측정. 화질 단계 낮추기, 창 단위 캡처, 이미지 전용 소형 모델 예비안
분리된 화면공유 창이 가려지면 영상이 멈춤 M0에서 가려져도 계속 그려짐을 확인. 옮겨 둘 필요 없음
Message Content Intent가 꺼져 있으면 채팅을 못 읽음 첫 실행 마법사와 대시보드에서 확인·안내
CUDA 13은 드라이버 580 이상 필요 첫 실행 점검에서 확인하고 안내. 안 되면 CUDA 12 빌드 사용
서명 안 된 exe라 SmartScreen 경고 처음에는 "추가 정보 → 실행"으로 안내. 필요하면 코드 서명 인증서 구매 검토(유료)
디스코드 음성 암호화(DAVE) 변경 v1에서 쓰는 @snazzah/davey 기반 유지, 라이브러리 업데이트 추적
모델 다운로드가 수십 GB 이어받기, 해시 검증, 진행률 표시. 빠름 모델 먼저 받고 권장 모델은 나중에 받기 가능
CosyVoice2 한국어 품질·속도 미검증 M0에서 측정 결과 기준 미달. MeloTTS만 기본 제공
디스코드 화면공유 목록이 Alt+Tab에서 숨긴 창도 빼 버림 M0에서 실제로 빠짐을 확인. 가상 모니터 방식으로 감(Virtual Display Driver 포함, 설치 승인받음)
지난 대화를 많이 넣을수록 첫 소리가 늦어짐 관련 부분만 검색해 넣고 분량 상한을 둠. GUI에 예상 지연 표시
일부 화면이 검게 캡처됨 (보호 영상, 독점 전체화면 게임) 테두리 없는 창 모드 안내. 캡처 실패 시 자비스가 "그 화면은 볼 수 없다"고 그대로 말함