- docs/dev/ARCHITECTURE.md: 코어-워커-사이트 인터페이스 계약 - worker/: faster-whisper 한국어 STT, 음량 정규화, 4단계 잡음 판정, 사전 교정, GPU 감지·모델/CUDA 다운로드, 롤 채팅 OCR·r3dlog, 파인튜닝 파이프라인 (39 tests) - app/src/core: 디스코드 DAVE 음성 녹음(Ogg Opus), STT 대기열, 발로란트/롤 로컬 API 어댑터, 타임라인·기록 API, 사이트 중계, 7일 음성 삭제, 진단 - tools/gen-dictionary.mjs: 공식 게임 데이터 기반 기본 단어사전 (1993단어) - M0 결과: DAVE 연결 1.06s Ready, CPU tiny STT 3.6s→0.31s, 가짜 Riot 서버 통합 테스트 통과 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
3.8 KiB
3.8 KiB
M0 기술 검증 결과 (2026-10-15)
개발 서버(.9, 리눅스, RTX 5050)에서 확인한 것과, 게임 PC(Windows, RTX 5070 Ti)에서 확인해야 하는 것을 나눠 적는다.
게임 PC 쪽은 앱의 진단 기능(설정 창 "진단" 탭, 개발용 npm run core -- --diagnose)으로 같은 항목을 그대로 돌린다.
개발 서버에서 확인함
| 항목 | 결과 | 근거 |
|---|---|---|
| 디스코드 DAVE(E2EE) 음성 연결 | ✅ 겜녹이 봇이 M&L 음성채널에 1.06초 만에 Ready, 암호화 aead_aes256_gcm_rtpsize, DAVE 프로토콜 v1 |
app/scripts/voice-smoke.mts |
| TTS 녹음 안내 재생 | ✅ 연결 직후 안내 음성(Edge TTS, WebM Opus) 재생 시작 | 같은 스크립트 |
| 유저별 음성 수신 | ⏳ 말하는 사람이 있어야 확인 가능. 테스트봇을 M&L 에 초대하면 자동 시험 | voice-smoke.mts 가 수신 패킷을 유저별 Ogg 로 저장 |
| Ogg Opus 저장 (재인코딩 없음) | ✅ ffmpeg 로 끝까지 디코드, 길이 오차 < 50ms, 말 사이 쉼은 무음 프레임으로 채워 실제 시간과 일치 | app/test/core.test.ts |
| faster-whisper 한국어 STT | ✅ CPU tiny: 3.6초 음성 0.31초, "레이드 공 빠졌어…" → 사전 교정 후 "레이즈 공 빠졌어…" | app/test/e2e-stt.test.ts, 진단 |
| 음량 정규화 | ✅ -30dB 작은 목소리: -48.5 LUFS 측정, +24dB 보정 후 같은 문장 인식 | worker/tests |
| 잡음 판정 | ✅ 키보드 소리·백색 잡음·무음 모두 VAD 단계에서 [잡음] (Whisper 생략, 약 25ms) |
worker/tests |
| 단어사전 교정 | ✅ 보고서 예시 문장이 정확히 교정됨 (교정 규칙 + 한글 자모 유사도) | worker/tests/test_dictionary.py |
| 발로란트·롤 로컬 API 처리 | ✅ 실제 API 와 같은 구조의 가짜 서버로 경기 시작→채팅→라운드→종료→상세 전 과정 통과 | app/test/games.test.ts |
| 파인튜닝 파이프라인 | ✅ CPU whisper-tiny 로 합성→학습→CER 비교→CTranslate2 내보내기 전 단계 통과 (≈30초) | worker/README.md |
| PyInstaller 패키징 | ✅ 리눅스 onedir 빌드 후 hello/load/transcribe 통과 (Windows 빌드는 M5) | worker/gvr-worker.spec |
게임 PC 에서 확인할 것 (진단 기능)
| 항목 | 진단 이름 | 확인 내용 |
|---|---|---|
| RTX 5070 Ti STT 속도·VRAM | STT 속도 |
CUDA 12.8 + cuDNN 9 DLL 로 large-v3-turbo / large-v3 float16 적재 시간, 3.6초 음성 변환 시간, VRAM |
| 발로란트 경기 감지 | 발로란트 로컬 API |
lockfile → entitlement → presence (상태·맵) |
| 롤 게임 API | 롤 게임 클라이언트 API |
게임 중 2999 포트 응답 |
| 롤 타임라인 | 롤 클라이언트 (LCU) · 타임라인 |
최근 경기 타임라인 조회 가능 여부 → 불가면 킬 위치·골드 그래프에 공식 키 필요 |
| 채팅 OCR | 채팅 OCR (한국어) |
Windows 한국어 OCR 설치 여부, 예시 이미지 3줄 인식률 |
| 롤 로그 채팅 | 롤 로그 파일 채팅 |
r3dlog 에 채팅이 남는지 → 남으면 OCR 대신 사용 |
결과는 GVR-Data/logs/diagnostics-*.json 에 남는다.
결정 사항
- 한국어 TTS 엔진: Microsoft Edge 온라인 TTS (무료, 한국어 음성 3종). 안내 음성은 기본 문구를 앱에 포함해 인터넷이 없어도 재생되고, 문구를 바꾸면 다시 합성해 캐시한다. 파인튜닝용 합성 음성도 같은 엔진.
- 실시간/정밀 모델:
mobiuslabsgmbh/faster-whisper-large-v3-turbo/Systran/faster-whisper-large-v3(CTranslate2), float16 기본. - CUDA 런타임: PyPI
nvidia-cublas-cu1212.9 +nvidia-cudnn-cu129.x Windows 휠에서 DLL 만 받아GVR-Data/cuda/에 둔다 (≈1.2GB, exe 에 넣지 않음). - 핫워드: 상황별 묶음(발로란트·롤·일상…) 앞에 그 경기에 나온 요원·챔피언·선수 이름 10명분을 먼저 넣는다.