Files
game_voice_recorder/docs/dev/M0-verification.md
EJClaw 7c9146cd2d M0: 기술 검증 - 구조 설계, STT 워커, 앱 코어, 게임 PC 진단
- docs/dev/ARCHITECTURE.md: 코어-워커-사이트 인터페이스 계약
- worker/: faster-whisper 한국어 STT, 음량 정규화, 4단계 잡음 판정, 사전 교정, GPU 감지·모델/CUDA 다운로드, 롤 채팅 OCR·r3dlog, 파인튜닝 파이프라인 (39 tests)
- app/src/core: 디스코드 DAVE 음성 녹음(Ogg Opus), STT 대기열, 발로란트/롤 로컬 API 어댑터, 타임라인·기록 API, 사이트 중계, 7일 음성 삭제, 진단
- tools/gen-dictionary.mjs: 공식 게임 데이터 기반 기본 단어사전 (1993단어)
- M0 결과: DAVE 연결 1.06s Ready, CPU tiny STT 3.6s→0.31s, 가짜 Riot 서버 통합 테스트 통과

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 01:17:48 +09:00

3.8 KiB

M0 기술 검증 결과 (2026-10-15)

개발 서버(.9, 리눅스, RTX 5050)에서 확인한 것과, 게임 PC(Windows, RTX 5070 Ti)에서 확인해야 하는 것을 나눠 적는다. 게임 PC 쪽은 앱의 진단 기능(설정 창 "진단" 탭, 개발용 npm run core -- --diagnose)으로 같은 항목을 그대로 돌린다.

개발 서버에서 확인함

항목 결과 근거
디스코드 DAVE(E2EE) 음성 연결 ✅ 겜녹이 봇이 M&L 음성채널에 1.06초 만에 Ready, 암호화 aead_aes256_gcm_rtpsize, DAVE 프로토콜 v1 app/scripts/voice-smoke.mts
TTS 녹음 안내 재생 ✅ 연결 직후 안내 음성(Edge TTS, WebM Opus) 재생 시작 같은 스크립트
유저별 음성 수신 ⏳ 말하는 사람이 있어야 확인 가능. 테스트봇을 M&L 에 초대하면 자동 시험 voice-smoke.mts 가 수신 패킷을 유저별 Ogg 로 저장
Ogg Opus 저장 (재인코딩 없음) ✅ ffmpeg 로 끝까지 디코드, 길이 오차 < 50ms, 말 사이 쉼은 무음 프레임으로 채워 실제 시간과 일치 app/test/core.test.ts
faster-whisper 한국어 STT ✅ CPU tiny: 3.6초 음성 0.31초, "레이드 공 빠졌어…" → 사전 교정 후 "레이즈 공 빠졌어…" app/test/e2e-stt.test.ts, 진단
음량 정규화 ✅ -30dB 작은 목소리: -48.5 LUFS 측정, +24dB 보정 후 같은 문장 인식 worker/tests
잡음 판정 ✅ 키보드 소리·백색 잡음·무음 모두 VAD 단계에서 [잡음] (Whisper 생략, 약 25ms) worker/tests
단어사전 교정 ✅ 보고서 예시 문장이 정확히 교정됨 (교정 규칙 + 한글 자모 유사도) worker/tests/test_dictionary.py
발로란트·롤 로컬 API 처리 ✅ 실제 API 와 같은 구조의 가짜 서버로 경기 시작→채팅→라운드→종료→상세 전 과정 통과 app/test/games.test.ts
파인튜닝 파이프라인 ✅ CPU whisper-tiny 로 합성→학습→CER 비교→CTranslate2 내보내기 전 단계 통과 (≈30초) worker/README.md
PyInstaller 패키징 ✅ 리눅스 onedir 빌드 후 hello/load/transcribe 통과 (Windows 빌드는 M5) worker/gvr-worker.spec

게임 PC 에서 확인할 것 (진단 기능)

항목 진단 이름 확인 내용
RTX 5070 Ti STT 속도·VRAM STT 속도 CUDA 12.8 + cuDNN 9 DLL 로 large-v3-turbo / large-v3 float16 적재 시간, 3.6초 음성 변환 시간, VRAM
발로란트 경기 감지 발로란트 로컬 API lockfile → entitlement → presence (상태·맵)
롤 게임 API 롤 게임 클라이언트 API 게임 중 2999 포트 응답
롤 타임라인 롤 클라이언트 (LCU) · 타임라인 최근 경기 타임라인 조회 가능 여부 → 불가면 킬 위치·골드 그래프에 공식 키 필요
채팅 OCR 채팅 OCR (한국어) Windows 한국어 OCR 설치 여부, 예시 이미지 3줄 인식률
롤 로그 채팅 롤 로그 파일 채팅 r3dlog 에 채팅이 남는지 → 남으면 OCR 대신 사용

결과는 GVR-Data/logs/diagnostics-*.json 에 남는다.

결정 사항

  • 한국어 TTS 엔진: Microsoft Edge 온라인 TTS (무료, 한국어 음성 3종). 안내 음성은 기본 문구를 앱에 포함해 인터넷이 없어도 재생되고, 문구를 바꾸면 다시 합성해 캐시한다. 파인튜닝용 합성 음성도 같은 엔진.
  • 실시간/정밀 모델: mobiuslabsgmbh/faster-whisper-large-v3-turbo / Systran/faster-whisper-large-v3 (CTranslate2), float16 기본.
  • CUDA 런타임: PyPI nvidia-cublas-cu12 12.9 + nvidia-cudnn-cu12 9.x Windows 휠에서 DLL 만 받아 GVR-Data/cuda/ 에 둔다 (≈1.2GB, exe 에 넣지 않음).
  • 핫워드: 상황별 묶음(발로란트·롤·일상…) 앞에 그 경기에 나온 요원·챔피언·선수 이름 10명분을 먼저 넣는다.