- Normal placement with the STT room and 1 GB for other programs: expert VRAM 1.5 GB, 1.8 GB left at the STT peak, context TTFT back to 1.9 s (was 7.5 s), 64.4 tok/s alone. - Game mode pauses STT partials while the LLM answers: 64.9 tok/s vs 37.5 tok/s at a 2 s pace, final wait 0.001 s vs up to 1.2 s. - The 95 % GPU cap paused for 5.2 % but nvidia-smi utilisation did not drop (96->98 %, 40->39 %) and decode was 6-10 % slower; whether to keep it is pending a user decision. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
67 lines
9.2 KiB
Markdown
67 lines
9.2 KiB
Markdown
# 구현 단계와 위험 요소
|
|
|
|
## 구현 단계
|
|
|
|
| 단계 | 내용 | 완료 기준 |
|
|
|---|---|---|
|
|
| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 가상 모니터 확인을 뺀 모든 항목 측정 완료(2026-11-10). 가상 모니터 확인은 M6에서 합니다. 2026-11-10에 추가한 `desktop` 단계(agent-desktop)는 측정을 마쳤고, 자동 성능 조절용 `gamemode` 단계는 세 번 쟀고, `gamemode_stt`(LLM과 STT를 함께 켬, STT GPU·CPU)와 `gamemode_live`(실제 게임을 켬) 단계도 측정을 마쳤습니다(2026-11-10). 결과로 게임 중 최소 배치는 전문가 2GB로 정했고, 평소 배치에 STT 자리를 남기는 것과 게임 중 LLM이 답하는 동안 부분 전사 간격을 늘리는 것(게임이 없을 때는 그대로)도 정했습니다(사용자 결정, 2026-11-10). `gamemode_tune` 단계도 측정을 마쳤고(2026-11-11), 게임 중 LLM이 답하는 동안에는 부분 전사를 멈추기로 정했습니다. GPU 95% 제한은 측정에서 사용률을 낮추지 못해 계속 쓸지 사용자 결정을 기다립니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) |
|
|
| M1 | 음성 워커 | 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과 |
|
|
| M2 | 디스코드 음성 코어 이전 | v1 봇 코드를 Electron 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기) |
|
|
| M3 | 두뇌 연결 | 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과 |
|
|
| M4 | 왕복 완성과 지연 튜닝 | 호출어·호출 방식·지정한 사람 설정, 동시 대화 응답 정책 4가지(기본 "처음 대화만")와 정책별 끼어들기 규칙. 말 끝부터 첫 소리까지 실측 1.5초 이내, 10명 채널 부하 테스트 |
|
|
| M5 | 관리 앱 기본 | 첫 실행 마법사, 데이터 폴더, 런타임·모델 자동 설치, 대시보드, 봇/채널·호출/채팅 채널(디스코드 채널 이름·주제 반영 포함)/대화 기억/모델 설정, 로그 화면(보기·복사·다운로드) |
|
|
| M6 | 기능 화면과 브라우저 | 기능 켜기/끄기, MCP 관리, 봇용 크롬(가상 모니터에 둠, Virtual Display Driver 포함), 예약 수집 틀(대상은 비움). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치 확인 |
|
|
| M7 | PC 제어와 화면 보기 | 아래 목록에 있습니다. |
|
|
| M8 | 배포 | 설치 파일, 자동 업데이트, 깨끗한 Windows에서 설치부터 첫 대화까지 확인 |
|
|
|
|
M0에서 확인할 항목:
|
|
|
|
- Strata에서 빠름/권장 모델의 실제 속도와 첫 토큰 시간(맥락 길이별)
|
|
- 도구 호출·이미지 입력 가능 여부
|
|
- 화질 단계별 이미지 읽기 시간
|
|
- 한국어 품질
|
|
- 게임 모드 전환 시간, 모델 배치별 출력 속도·음성 첫 문장·남는 VRAM (`gamemode` 단계)
|
|
- LLM과 STT(10명 동시 전사)를 함께 켰을 때 남는 VRAM과 양쪽 속도, 게임 중 STT를 CPU로 옮겼을 때의 전사 시간 (`gamemode_stt` 단계), 실제 게임을 켠 채로 같은 측정 (`gamemode_live` 단계, 직접 실행), 평소 배치에 STT 자리와 다른 프로그램용 여유 1GB를 남겼을 때, 게임 중 배치에서 LLM이 답하는 동안 부분 전사 간격을 늘렸을 때, GPU 사용률을 95%로 제한했을 때의 양쪽 속도와 실제 GPU 사용률 (`gamemode_tune` 단계)
|
|
- faster-whisper turbo와 MeloTTS/CosyVoice2 속도
|
|
- 봇용 크롬창의 Alt+Tab 숨김과 디스코드 화면공유 목록 표시
|
|
- 디스코드 분리 화면공유 창 식별과, 가려졌을 때 영상이 멈추는지
|
|
- 설치된 게임으로 테두리 없는 창 게임 감지와 안티치트 감지
|
|
- agent-desktop으로 프로그램 조작(계산기 버튼 누르기, 브라우저 입력칸에 값 넣기), 디스코드 화면 읽기 시간, 계속 켜 두는 방식(MCP)과 매번 실행하는 방식의 속도 (`desktop` 단계)
|
|
|
|
M7 완료 기준:
|
|
|
|
- 전체·모니터별·창별 화면 보기
|
|
- 빠른 화면 응답(캡처 미리 준비, 화질 단계)
|
|
- 캡처 제외 목록
|
|
- 분리된 화면공유 창 보기
|
|
- 봇용 크롬창 화면공유 표시
|
|
- agent-desktop으로 프로그램 조작, 접근성 정보가 없는 화면만 키보드·마우스 제어, 비상 정지
|
|
- 안티치트 감지·차단 안내
|
|
- 게임 감지(테두리 없는 창 포함)와 자동 성능 조절(평소·게임 중 배치 전환, 첫 실행 자가 점검, 실행 중 지연 감시), 게임 중 일시정지
|
|
|
|
M0~M4는 "더 빠르고 똑똑한 음성 대화"의 핵심이고, M5~M8은 "설치 하나로 끝나는 관리 앱"입니다. 로그 화면은 M5에 넣어서 그 뒤 테스트할 때부터 바로 쓸 수 있게 합니다. M4까지 끝나면 GUI 없이도 새 엔진을 먼저 써 볼 수 있습니다.
|
|
|
|
## 위험 요소와 대응
|
|
|
|
| 위험 | 대응 |
|
|
|---|---|
|
|
| Strata가 도구 호출이나 동시 요청을 지원하지 않음 | M0에서 둘 다 지원 확인. 다만 빠름 모델이 "5분 타이머 맞춰 줘"에서 3번 모두 도구를 부르지 않고 "설정했습니다"라고만 답함(12번 중 9번 성공). 지시문 규칙과 "건너뛴 도구 직접 실행" 장치로 고쳤고 평가(`evals/test_tool_skip_confabulation.py`)에 넣음. 게임PC 재측정(2026-11-10)에서 빠름 모델은 27번 모두 통과. 권장 모델은 도구가 필요 없는 부탁에 상관없는 도구를 부르는 문제가 남아(27번 중 24번, 덜 압축된 모델도 같음) 뺐고, 모델은 Qwen3.6-35B-A3B 하나만 씀 |
|
|
| 게임과 VRAM 경쟁 | 자동 성능 조절: 게임을 감지하면 같은 모델을 VRAM을 덜 쓰는 배치로 다시 시작. 게임 중 일시정지는 선택. VRAM 사용량 실시간 표시 |
|
|
| 게임 중 배치로 바꾸는 동안(이전 측정 약 52초) 답을 못 함 | 들어온 요청은 대기열에 두고 한 번만 안내. 하던 답은 끝낸 뒤 전환. 엔진이 실행 중 VRAM 줄이기를 지원하면 다시 시작 없는 방식으로 바꿈 |
|
|
| 게임 중에는 RAM에 둔 전문가 층을 CPU가 계산해 게임과 CPU를 나눠 씀 | M0 `gamemode`에서 CPU 작업자 수를 줄인 배치도 잼. 게임 중 답이 기준보다 느리면 대시보드에 표시하고, 일시정지를 켤 수 있음 |
|
|
| 테두리 없는 창 게임을 놓치거나 일반 프로그램을 게임으로 잘못 봄 | 창 모양 + GPU 사용량 + 게임 폴더를 같이 보고, 게임 목록·"게임 아님" 목록으로 바로잡음. 감지 이유를 대시보드에 표시 |
|
|
| agent-desktop.exe에 코드 서명이 없어 백신이나 SmartScreen이 막을 수 있음 | 우리 설치 파일 안에 넣어 따로 실행 경고가 뜨지 않게 하고, 버전을 고정해 해시를 확인함. 백신이 막으면 첫 실행 점검에서 안내 |
|
|
| 크롬·디스코드(크로미움) 화면은 처음 읽을 때 목록이 덜 채워짐(켠 직후 10~25초) | M0 `desktop`에서 테스트 창은 띄우고 2.9초 뒤 읽힘. 디스코드 읽기 시간은 `gamemode`와 함께 다시 잼. 자주 쓰는 창은 미리 한 번 읽어 둠 |
|
|
| 안티치트 목록에 없는 게임에서 자동 입력 | GUI에서 직접 추가, 앱 업데이트로 목록 확장. 독점 전체화면 게임 중에는 자동 입력 기본 차단 유지 |
|
|
| LLM이 이미지 입력을 지원하지 않거나 이미지 읽기가 느림 | M0에서 측정. 화질 단계 낮추기, 창 단위 캡처, 이미지 전용 소형 모델 예비안 |
|
|
| 분리된 화면공유 창이 가려지면 영상이 멈춤 | M0에서 가려져도 계속 그려짐을 확인. 옮겨 둘 필요 없음 |
|
|
| Message Content Intent가 꺼져 있으면 채팅을 못 읽음 | 첫 실행 마법사와 대시보드에서 확인·안내 |
|
|
| CUDA 13은 드라이버 580 이상 필요 | 첫 실행 점검에서 확인하고 안내. 안 되면 CUDA 12 빌드 사용 |
|
|
| 서명 안 된 exe라 SmartScreen 경고 | 처음에는 "추가 정보 → 실행"으로 안내. 필요하면 코드 서명 인증서 구매 검토(유료) |
|
|
| 디스코드 음성 암호화(DAVE) 변경 | v1에서 쓰는 `@snazzah/davey` 기반 유지, 라이브러리 업데이트 추적 |
|
|
| 모델 다운로드가 약 23GB | 이어받기, 해시 검증, 진행률 표시 |
|
|
| CosyVoice2 한국어 품질·속도 미검증 | M0에서 측정 결과 기준 미달. MeloTTS만 기본 제공 |
|
|
| 디스코드 화면공유 목록이 Alt+Tab에서 숨긴 창도 빼 버림 | M0에서 실제로 빠짐을 확인. 가상 모니터 방식으로 감(Virtual Display Driver 포함, 설치 승인받음) |
|
|
| 지난 대화를 많이 넣을수록 첫 소리가 늦어짐 | 관련 부분만 검색해 넣고 분량 상한을 둠. GUI에 예상 지연 표시 |
|
|
| 일부 화면이 검게 캡처됨 (보호 영상, 독점 전체화면 게임) | 테두리 없는 창 모드 안내. 캡처 실패 시 자비스가 "그 화면은 볼 수 없다"고 그대로 말함 |
|