docs(v2): record the M0 tool, popout and game results and rerun the recommended model
The first run left three results out of the plan: the fast model skipped the timer tool and claimed it was set, the popped-out share window carries the voice channel name rather than the streamer's, and a covered popout keeps drawing. The recommended model failed to start (DFlash2 needs a native pack), so M0 stays open for that one stage with the fixed kit. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -27,8 +27,11 @@
|
||||
|---|---|
|
||||
| TTS | MeloTTS만 기본 제공. CosyVoice2/3는 첫 소리까지 중앙값 3.4~3.6초라 뺌. 앱 시작 때 한 번 미리 합성(첫 합성 30초) |
|
||||
| STT | large-v3-turbo, `int8_float16`(1.3GB). `float16`과 정확도가 같았음 |
|
||||
| LLM | 빠름 모델(Qwen3.6-35B-A3B) 기본, 동시 요청 2개, 이미지는 GPU 처리, 화질 1280x720, 음성 답변은 생각 모드 끔. 권장 모델은 나중에 따로 측정(M0 완료 조건에서 뺌, 사용자 결정) |
|
||||
| LLM | 빠름 모델(Qwen3.6-35B-A3B) 기본, 동시 요청 2개, 이미지는 GPU 처리, 화질 1280x720, 음성 답변은 생각 모드 끔. 권장 모델은 첫 측정에서 Strata가 DFlash2 보조 모델을 못 붙여 시작에 실패함. 키트를 고쳤고(MTP 보조 모델 사용) 그 단계만 다시 잼. 모델 파일은 이미 받아 둠 |
|
||||
| 지난 대화 맥락 | 약 8천 토큰에서 시작(텍스트 첫 문장 1.8초). 상한은 M4에서 왕복 지연을 실측해 정함 |
|
||||
| 도구 호출 | Strata에서 동작(12번 중 9번). 빠름 모델이 "5분 타이머 맞춰 줘"에서 도구 없이 "설정했습니다"라고만 답함. M3 평가에 넣어 고침 |
|
||||
| 분리된 화면공유 창 | 창 제목에 공유자 이름이 없고 음성 채널 이름만 있음. 그래서 창이 하나면 그 창을 쓰고, 여러 개면 누구 화면인지 되묻고 그 사람 창만 남겨 달라고 안내함. 가려져도 영상은 계속 그려짐 |
|
||||
| 게임 감지 | 발로란트(테두리 없는 창)를 게임으로, 브라우저 전체화면 영상을 게임 아님으로 바르게 판단. 안티치트 Vanguard 실행 감지 |
|
||||
| 게임 모드 VRAM 비우기 | Strata 0.1.59가 지원하지 않아 당분간 LLM을 껐다 켜는 방식(약 52초). 엔진이 지원하면 다시 측정 |
|
||||
| 봇용 크롬창 | 실제 모니터 어디에도 보이지 않게 가상 모니터에 둠(사용자 선택). M0 `vdisplay` 단계는 돌리지 않고, M6에서 함께 넣을 드라이버로 직접 확인 ([pc-features.md](pc-features.md#봇용-크롬창과-디스코드-화면공유)) |
|
||||
|
||||
|
||||
@@ -137,12 +137,12 @@
|
||||
1. "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다.
|
||||
2. 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다. 자비스가 디스코드 앱을 직접 눌러 창을 분리하지는 않습니다. 디스코드 화면 배치가 바뀌면 자동 조작이 깨지기 쉽기 때문입니다.
|
||||
3. 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다.
|
||||
4. 분리된 창이 여러 개면 창 제목(공유한 사람 이름)으로 고릅니다. 이름으로 구분이 안 되면 누구 화면인지 되묻습니다.
|
||||
4. 분리된 창이 여러 개면 누구 화면인지 되묻고, 그 사람 창만 남겨 달라고 안내합니다. 창 제목에는 공유자 이름이 아니라 음성 채널 이름만 들어가서 제목으로는 고를 수 없습니다(M0 결과).
|
||||
|
||||
**M0에서 확인할 점**:
|
||||
**M0 결과**:
|
||||
|
||||
1. 분리된 화면공유 창을 프로그램에서 정확히 알아보는 방법. 창 제목에 공유자 이름이 들어가는지 봅니다.
|
||||
2. 분리된 창이 다른 창에 완전히 가려지면 디스코드가 영상 그리기를 멈추는지. 멈춘다면 분리된 창을 보조 모니터나 가상 모니터로 옮겨 둡니다.
|
||||
1. 분리된 창은 새로 생긴 디스코드 창(`Chrome_WidgetWin_1`)으로 찾을 수 있었습니다. 창 제목에는 공유자 이름이 없고 음성 채널 이름만 있습니다.
|
||||
2. 분리된 창이 다른 창에 완전히 가려져도 영상은 계속 그려졌습니다(캡처 22장 모두 달랐고 검은 화면 없음). 다른 모니터로 옮겨 둘 필요가 없습니다.
|
||||
|
||||
최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다.
|
||||
|
||||
|
||||
@@ -4,7 +4,7 @@
|
||||
|
||||
| 단계 | 내용 | 완료 기준 |
|
||||
|---|---|---|
|
||||
| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 완료(2026-11-10). 권장 모델 측정과 가상 모니터 확인은 M0에서 빼고 나중에 합니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) |
|
||||
| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 빠름 모델·음성·창·게임 항목은 측정 완료(2026-11-10). 권장 모델은 첫 측정에서 시작에 실패해 고친 키트로 그 단계만 다시 잽니다. 가상 모니터 확인은 M6에서 합니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) |
|
||||
| M1 | 음성 워커 | 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과 |
|
||||
| M2 | 디스코드 음성 코어 이전 | v1 봇 코드를 Electron 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기) |
|
||||
| M3 | 두뇌 연결 | 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과 |
|
||||
@@ -43,12 +43,12 @@ M0~M4는 "더 빠르고 똑똑한 음성 대화"의 핵심이고, M5~M8은 "설
|
||||
|
||||
| 위험 | 대응 |
|
||||
|---|---|
|
||||
| Strata가 도구 호출이나 동시 요청을 지원하지 않음 | 플래너(JSON) 방식으로 우회, 또는 같은 모델을 llama.cpp 서버로 실행 |
|
||||
| Strata가 도구 호출이나 동시 요청을 지원하지 않음 | M0에서 둘 다 지원 확인. 다만 빠름 모델이 "5분 타이머 맞춰 줘"에서 3번 모두 도구를 부르지 않고 "설정했습니다"라고만 답함(12번 중 9번 성공). M3 평가(evals)에 이 경우를 넣고, 안 되면 플래너(JSON) 방식으로 도구를 고르게 함 |
|
||||
| 게임과 VRAM 경쟁 | 게임 모드(RAM 위주/빠름 모델/일시정지 각각 켜기), VRAM 사용량 실시간 표시 |
|
||||
| 테두리 없는 창 게임을 놓치거나 일반 프로그램을 게임으로 잘못 봄 | 창 모양 + GPU 사용량 + 게임 폴더를 같이 보고, 게임 목록·"게임 아님" 목록으로 바로잡음. 감지 이유를 대시보드에 표시 |
|
||||
| 안티치트 목록에 없는 게임에서 자동 입력 | GUI에서 직접 추가, 앱 업데이트로 목록 확장. 독점 전체화면 게임 중에는 자동 입력 기본 차단 유지 |
|
||||
| LLM이 이미지 입력을 지원하지 않거나 이미지 읽기가 느림 | M0에서 측정. 화질 단계 낮추기, 창 단위 캡처, 이미지 전용 소형 모델 예비안 |
|
||||
| 분리된 화면공유 창이 가려지면 영상이 멈춤 | M0에서 확인. 보조 모니터나 가상 모니터로 옮겨 두기 |
|
||||
| 분리된 화면공유 창이 가려지면 영상이 멈춤 | M0에서 가려져도 계속 그려짐을 확인. 옮겨 둘 필요 없음 |
|
||||
| Message Content Intent가 꺼져 있으면 채팅을 못 읽음 | 첫 실행 마법사와 대시보드에서 확인·안내 |
|
||||
| CUDA 13은 드라이버 580 이상 필요 | 첫 실행 점검에서 확인하고 안내. 안 되면 CUDA 12 빌드 사용 |
|
||||
| 서명 안 된 exe라 SmartScreen 경고 | 처음에는 "추가 정보 → 실행"으로 안내. 필요하면 코드 서명 인증서 구매 검토(유료) |
|
||||
|
||||
Reference in New Issue
Block a user