diff --git a/docs/v2/decisions.md b/docs/v2/decisions.md index 829b265..95e6df8 100644 --- a/docs/v2/decisions.md +++ b/docs/v2/decisions.md @@ -27,8 +27,11 @@ |---|---| | TTS | MeloTTS만 기본 제공. CosyVoice2/3는 첫 소리까지 중앙값 3.4~3.6초라 뺌. 앱 시작 때 한 번 미리 합성(첫 합성 30초) | | STT | large-v3-turbo, `int8_float16`(1.3GB). `float16`과 정확도가 같았음 | -| LLM | 빠름 모델(Qwen3.6-35B-A3B) 기본, 동시 요청 2개, 이미지는 GPU 처리, 화질 1280x720, 음성 답변은 생각 모드 끔. 권장 모델은 나중에 따로 측정(M0 완료 조건에서 뺌, 사용자 결정) | +| LLM | 빠름 모델(Qwen3.6-35B-A3B) 기본, 동시 요청 2개, 이미지는 GPU 처리, 화질 1280x720, 음성 답변은 생각 모드 끔. 권장 모델은 첫 측정에서 Strata가 DFlash2 보조 모델을 못 붙여 시작에 실패함. 키트를 고쳤고(MTP 보조 모델 사용) 그 단계만 다시 잼. 모델 파일은 이미 받아 둠 | | 지난 대화 맥락 | 약 8천 토큰에서 시작(텍스트 첫 문장 1.8초). 상한은 M4에서 왕복 지연을 실측해 정함 | +| 도구 호출 | Strata에서 동작(12번 중 9번). 빠름 모델이 "5분 타이머 맞춰 줘"에서 도구 없이 "설정했습니다"라고만 답함. M3 평가에 넣어 고침 | +| 분리된 화면공유 창 | 창 제목에 공유자 이름이 없고 음성 채널 이름만 있음. 그래서 창이 하나면 그 창을 쓰고, 여러 개면 누구 화면인지 되묻고 그 사람 창만 남겨 달라고 안내함. 가려져도 영상은 계속 그려짐 | +| 게임 감지 | 발로란트(테두리 없는 창)를 게임으로, 브라우저 전체화면 영상을 게임 아님으로 바르게 판단. 안티치트 Vanguard 실행 감지 | | 게임 모드 VRAM 비우기 | Strata 0.1.59가 지원하지 않아 당분간 LLM을 껐다 켜는 방식(약 52초). 엔진이 지원하면 다시 측정 | | 봇용 크롬창 | 실제 모니터 어디에도 보이지 않게 가상 모니터에 둠(사용자 선택). M0 `vdisplay` 단계는 돌리지 않고, M6에서 함께 넣을 드라이버로 직접 확인 ([pc-features.md](pc-features.md#봇용-크롬창과-디스코드-화면공유)) | diff --git a/docs/v2/pc-features.md b/docs/v2/pc-features.md index 44e9f38..8759daf 100644 --- a/docs/v2/pc-features.md +++ b/docs/v2/pc-features.md @@ -137,12 +137,12 @@ 1. "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다. 2. 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다. 자비스가 디스코드 앱을 직접 눌러 창을 분리하지는 않습니다. 디스코드 화면 배치가 바뀌면 자동 조작이 깨지기 쉽기 때문입니다. 3. 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다. -4. 분리된 창이 여러 개면 창 제목(공유한 사람 이름)으로 고릅니다. 이름으로 구분이 안 되면 누구 화면인지 되묻습니다. +4. 분리된 창이 여러 개면 누구 화면인지 되묻고, 그 사람 창만 남겨 달라고 안내합니다. 창 제목에는 공유자 이름이 아니라 음성 채널 이름만 들어가서 제목으로는 고를 수 없습니다(M0 결과). -**M0에서 확인할 점**: +**M0 결과**: -1. 분리된 화면공유 창을 프로그램에서 정확히 알아보는 방법. 창 제목에 공유자 이름이 들어가는지 봅니다. -2. 분리된 창이 다른 창에 완전히 가려지면 디스코드가 영상 그리기를 멈추는지. 멈춘다면 분리된 창을 보조 모니터나 가상 모니터로 옮겨 둡니다. +1. 분리된 창은 새로 생긴 디스코드 창(`Chrome_WidgetWin_1`)으로 찾을 수 있었습니다. 창 제목에는 공유자 이름이 없고 음성 채널 이름만 있습니다. +2. 분리된 창이 다른 창에 완전히 가려져도 영상은 계속 그려졌습니다(캡처 22장 모두 달랐고 검은 화면 없음). 다른 모니터로 옮겨 둘 필요가 없습니다. 최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다. diff --git a/docs/v2/roadmap.md b/docs/v2/roadmap.md index 840ea44..c292e13 100644 --- a/docs/v2/roadmap.md +++ b/docs/v2/roadmap.md @@ -4,7 +4,7 @@ | 단계 | 내용 | 완료 기준 | |---|---|---| -| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 완료(2026-11-10). 권장 모델 측정과 가상 모니터 확인은 M0에서 빼고 나중에 합니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) | +| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 빠름 모델·음성·창·게임 항목은 측정 완료(2026-11-10). 권장 모델은 첫 측정에서 시작에 실패해 고친 키트로 그 단계만 다시 잽니다. 가상 모니터 확인은 M6에서 합니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) | | M1 | 음성 워커 | 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과 | | M2 | 디스코드 음성 코어 이전 | v1 봇 코드를 Electron 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기) | | M3 | 두뇌 연결 | 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과 | @@ -43,12 +43,12 @@ M0~M4는 "더 빠르고 똑똑한 음성 대화"의 핵심이고, M5~M8은 "설 | 위험 | 대응 | |---|---| -| Strata가 도구 호출이나 동시 요청을 지원하지 않음 | 플래너(JSON) 방식으로 우회, 또는 같은 모델을 llama.cpp 서버로 실행 | +| Strata가 도구 호출이나 동시 요청을 지원하지 않음 | M0에서 둘 다 지원 확인. 다만 빠름 모델이 "5분 타이머 맞춰 줘"에서 3번 모두 도구를 부르지 않고 "설정했습니다"라고만 답함(12번 중 9번 성공). M3 평가(evals)에 이 경우를 넣고, 안 되면 플래너(JSON) 방식으로 도구를 고르게 함 | | 게임과 VRAM 경쟁 | 게임 모드(RAM 위주/빠름 모델/일시정지 각각 켜기), VRAM 사용량 실시간 표시 | | 테두리 없는 창 게임을 놓치거나 일반 프로그램을 게임으로 잘못 봄 | 창 모양 + GPU 사용량 + 게임 폴더를 같이 보고, 게임 목록·"게임 아님" 목록으로 바로잡음. 감지 이유를 대시보드에 표시 | | 안티치트 목록에 없는 게임에서 자동 입력 | GUI에서 직접 추가, 앱 업데이트로 목록 확장. 독점 전체화면 게임 중에는 자동 입력 기본 차단 유지 | | LLM이 이미지 입력을 지원하지 않거나 이미지 읽기가 느림 | M0에서 측정. 화질 단계 낮추기, 창 단위 캡처, 이미지 전용 소형 모델 예비안 | -| 분리된 화면공유 창이 가려지면 영상이 멈춤 | M0에서 확인. 보조 모니터나 가상 모니터로 옮겨 두기 | +| 분리된 화면공유 창이 가려지면 영상이 멈춤 | M0에서 가려져도 계속 그려짐을 확인. 옮겨 둘 필요 없음 | | Message Content Intent가 꺼져 있으면 채팅을 못 읽음 | 첫 실행 마법사와 대시보드에서 확인·안내 | | CUDA 13은 드라이버 580 이상 필요 | 첫 실행 점검에서 확인하고 안내. 안 되면 CUDA 12 빌드 사용 | | 서명 안 된 exe라 SmartScreen 경고 | 처음에는 "추가 정보 → 실행"으로 안내. 필요하면 코드 서명 인증서 구매 검토(유료) |