# M0 기술 검증 결과 (2026-10-15) 개발 서버(.9, 리눅스, RTX 5050)에서 확인한 것과, 게임 PC(Windows, RTX 5070 Ti)에서 확인해야 하는 것을 나눠 적는다. 게임 PC 쪽은 앱의 **진단** 기능(설정 창 "진단" 탭, 개발용 `npm run core -- --diagnose`)으로 같은 항목을 그대로 돌린다. ## 개발 서버에서 확인함 | 항목 | 결과 | 근거 | |---|---|---| | 디스코드 DAVE(E2EE) 음성 연결 | ✅ 겜녹이 봇이 M&L 음성채널에 1.06초 만에 Ready, 암호화 `aead_aes256_gcm_rtpsize`, DAVE 프로토콜 v1 | `app/scripts/voice-smoke.mts` | | TTS 녹음 안내 재생 | ✅ 연결 직후 안내 음성(Edge TTS, WebM Opus) 재생 시작 | 같은 스크립트 | | 유저별 음성 수신 | ⏳ 말하는 사람이 있어야 확인 가능. 테스트봇을 M&L 에 초대하면 자동 시험 | `voice-smoke.mts` 가 수신 패킷을 유저별 Ogg 로 저장 | | Ogg Opus 저장 (재인코딩 없음) | ✅ ffmpeg 로 끝까지 디코드, 길이 오차 < 50ms, 말 사이 쉼은 무음 프레임으로 채워 실제 시간과 일치 | `app/test/core.test.ts` | | faster-whisper 한국어 STT | ✅ CPU tiny: 3.6초 음성 0.31초, "레이드 공 빠졌어…" → 사전 교정 후 "레이즈 공 빠졌어…" | `app/test/e2e-stt.test.ts`, 진단 | | 음량 정규화 | ✅ -30dB 작은 목소리: -48.5 LUFS 측정, +24dB 보정 후 같은 문장 인식 | `worker/tests` | | 잡음 판정 | ✅ 키보드 소리·백색 잡음·무음 모두 VAD 단계에서 `[잡음]` (Whisper 생략, 약 25ms) | `worker/tests` | | 단어사전 교정 | ✅ 보고서 예시 문장이 정확히 교정됨 (교정 규칙 + 한글 자모 유사도) | `worker/tests/test_dictionary.py` | | 발로란트·롤 로컬 API 처리 | ✅ 실제 API 와 같은 구조의 가짜 서버로 경기 시작→채팅→라운드→종료→상세 전 과정 통과 | `app/test/games.test.ts` | | 파인튜닝 파이프라인 | ✅ CPU whisper-tiny 로 합성→학습→CER 비교→CTranslate2 내보내기 전 단계 통과 (≈30초) | `worker/README.md` | | PyInstaller 패키징 | ✅ 리눅스 onedir 빌드 후 hello/load/transcribe 통과 (Windows 빌드는 M5) | `worker/gvr-worker.spec` | ## 게임 PC 에서 확인할 것 (진단 기능) | 항목 | 진단 이름 | 확인 내용 | |---|---|---| | RTX 5070 Ti STT 속도·VRAM | `STT 속도` | CUDA 12.8 + cuDNN 9 DLL 로 large-v3-turbo / large-v3 float16 적재 시간, 3.6초 음성 변환 시간, VRAM | | 발로란트 경기 감지 | `발로란트 로컬 API` | lockfile → entitlement → presence (상태·맵) | | 롤 게임 API | `롤 게임 클라이언트 API` | 게임 중 2999 포트 응답 | | 롤 타임라인 | `롤 클라이언트 (LCU) · 타임라인` | 최근 경기 타임라인 조회 가능 여부 → 불가면 킬 위치·골드 그래프에 공식 키 필요 | | 채팅 OCR | `채팅 OCR (한국어)` | Windows 한국어 OCR 설치 여부, 예시 이미지 3줄 인식률 | | 롤 로그 채팅 | `롤 로그 파일 채팅` | r3dlog 에 채팅이 남는지 → 남으면 OCR 대신 사용 | 결과는 `GVR-Data/logs/diagnostics-*.json` 에 남는다. ## 결정 사항 - 한국어 TTS 엔진: **Microsoft Edge 온라인 TTS** (무료, 한국어 음성 3종). 안내 음성은 기본 문구를 앱에 포함해 인터넷이 없어도 재생되고, 문구를 바꾸면 다시 합성해 캐시한다. 파인튜닝용 합성 음성도 같은 엔진. - 실시간/정밀 모델: `mobiuslabsgmbh/faster-whisper-large-v3-turbo` / `Systran/faster-whisper-large-v3` (CTranslate2), float16 기본. - CUDA 런타임: PyPI `nvidia-cublas-cu12` 12.9 + `nvidia-cudnn-cu12` 9.x Windows 휠에서 DLL 만 받아 `GVR-Data/cuda/` 에 둔다 (≈1.2GB, exe 에 넣지 않음). - 핫워드: 상황별 묶음(발로란트·롤·일상…) 앞에 **그 경기에 나온 요원·챔피언·선수 이름 10명분**을 먼저 넣는다.