The user wants the bot window on no real screen at all. Add a vdisplay stage that drives the Parsec Virtual Display Adapter already on the PC (no install, the display dies with the script), moves the clock window onto it as a normal and as a tool window, and asks about real monitors, Alt+Tab, Discord's Screens tab and whether the cursor can wander there. Record the M0 defaults the user confirmed in docs/v2. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
5.6 KiB
5.6 KiB
구현 단계와 위험 요소
구현 단계
| 단계 | 내용 | 완료 기준 |
|---|---|---|
| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 측정 키트: scripts/m0/ |
| M1 | 음성 워커 | 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과 |
| M2 | 디스코드 음성 코어 이전 | v1 봇 코드를 Electron 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기) |
| M3 | 두뇌 연결 | 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과 |
| M4 | 왕복 완성과 지연 튜닝 | 호출어·호출 방식·지정한 사람 설정, 동시 대화 응답 정책 4가지(기본 "처음 대화만")와 정책별 끼어들기 규칙. 말 끝부터 첫 소리까지 실측 1.5초 이내, 10명 채널 부하 테스트 |
| M5 | 관리 앱 기본 | 첫 실행 마법사, 데이터 폴더, 런타임·모델 자동 설치, 대시보드, 봇/채널·호출/채팅 채널(디스코드 채널 이름·주제 반영 포함)/대화 기억/모델 설정, 로그 화면(보기·복사·다운로드) |
| M6 | 기능 화면과 브라우저 | 기능 켜기/끄기, MCP 관리, 봇용 크롬, 예약 수집 틀(대상은 비움) |
| M7 | PC 제어와 화면 보기 | 아래 목록에 있습니다. |
| M8 | 배포 | 설치 파일, 자동 업데이트, 깨끗한 Windows에서 설치부터 첫 대화까지 확인 |
M0에서 확인할 항목:
- Strata에서 빠름/권장 모델의 실제 속도와 첫 토큰 시간(맥락 길이별)
- 도구 호출·이미지 입력 가능 여부
- 화질 단계별 이미지 읽기 시간
- 한국어 품질
- 게임 모드 전환 시간
- faster-whisper turbo와 MeloTTS/CosyVoice2 속도
- 봇용 크롬창의 Alt+Tab 숨김과 디스코드 화면공유 목록 표시
- 디스코드 분리 화면공유 창 식별과, 가려졌을 때 영상이 멈추는지
- 설치된 게임으로 테두리 없는 창 게임 감지와 안티치트 감지
M7 완료 기준:
- 전체·모니터별·창별 화면 보기
- 빠른 화면 응답(캡처 미리 준비, 화질 단계)
- 캡처 제외 목록
- 분리된 화면공유 창 보기
- 봇용 크롬창 화면공유 표시
- 키보드·마우스 제어와 비상 정지
- 안티치트 감지·차단 안내
- 게임 감지(테두리 없는 창 포함)와 게임 모드 (a)(b)(c)
M0M4는 "더 빠르고 똑똑한 음성 대화"의 핵심이고, M5M8은 "설치 하나로 끝나는 관리 앱"입니다. 로그 화면은 M5에 넣어서 그 뒤 테스트할 때부터 바로 쓸 수 있게 합니다. M4까지 끝나면 GUI 없이도 새 엔진을 먼저 써 볼 수 있습니다.
위험 요소와 대응
| 위험 | 대응 |
|---|---|
| Strata가 도구 호출이나 동시 요청을 지원하지 않음 | 플래너(JSON) 방식으로 우회, 또는 같은 모델을 llama.cpp 서버로 실행 |
| 게임과 VRAM 경쟁 | 게임 모드(RAM 위주/빠름 모델/일시정지 각각 켜기), VRAM 사용량 실시간 표시 |
| 테두리 없는 창 게임을 놓치거나 일반 프로그램을 게임으로 잘못 봄 | 창 모양 + GPU 사용량 + 게임 폴더를 같이 보고, 게임 목록·"게임 아님" 목록으로 바로잡음. 감지 이유를 대시보드에 표시 |
| 안티치트 목록에 없는 게임에서 자동 입력 | GUI에서 직접 추가, 앱 업데이트로 목록 확장. 독점 전체화면 게임 중에는 자동 입력 기본 차단 유지 |
| LLM이 이미지 입력을 지원하지 않거나 이미지 읽기가 느림 | M0에서 측정. 화질 단계 낮추기, 창 단위 캡처, 이미지 전용 소형 모델 예비안 |
| 분리된 화면공유 창이 가려지면 영상이 멈춤 | M0에서 확인. 보조 모니터나 가상 모니터로 옮겨 두기 |
| Message Content Intent가 꺼져 있으면 채팅을 못 읽음 | 첫 실행 마법사와 대시보드에서 확인·안내 |
| CUDA 13은 드라이버 580 이상 필요 | 첫 실행 점검에서 확인하고 안내. 안 되면 CUDA 12 빌드 사용 |
| 서명 안 된 exe라 SmartScreen 경고 | 처음에는 "추가 정보 → 실행"으로 안내. 필요하면 코드 서명 인증서 구매 검토(유료) |
| 디스코드 음성 암호화(DAVE) 변경 | v1에서 쓰는 @snazzah/davey 기반 유지, 라이브러리 업데이트 추적 |
| 모델 다운로드가 수십 GB | 이어받기, 해시 검증, 진행률 표시. 빠름 모델 먼저 받고 권장 모델은 나중에 받기 가능 |
| CosyVoice2 한국어 품질·속도 미검증 | M0에서 측정 결과 기준 미달. MeloTTS만 기본 제공 |
| 디스코드 화면공유 목록이 Alt+Tab에서 숨긴 창도 빼 버림 | M0에서 확인. 안 되면 가상 모니터 예비안(드라이버 설치 승인받음) |
| 지난 대화를 많이 넣을수록 첫 소리가 늦어짐 | 관련 부분만 검색해 넣고 분량 상한을 둠. GUI에 예상 지연 표시 |
| 일부 화면이 검게 캡처됨 (보호 영상, 독점 전체화면 게임) | 테두리 없는 창 모드 안내. 캡처 실패 시 자비스가 "그 화면은 볼 수 없다"고 그대로 말함 |