Files
game_voice_recorder/docs/dev/test-results.md
EJClaw 24585e3603 M8: GPU 파인튜닝 시험 학습 (large-v3-turbo LoRA, CER 4.8% → 1.8%)
- train_lora: GPU 에서 원본 가중치 bf16 적재(VRAM 절반, 최대 2.7GB), 라벨 절반을 타임스탬프 형식으로
  (notimestamps 로만 학습하면 앱의 타임스탬프 모드에서 끝맺음을 잊고 문장 뒤에 말을 지어냄)
- evaluate: 앱과 같은 타임스탬프 모드로 측정
- finetune-e2e: GVR_FT_BASE/STEPS/SYNTH
- README·테스트 기록: M7·M8 완료

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 04:21:57 +09:00

11 KiB

테스트 기록

단계별로 실제로 돌린 테스트와 결과. 명령은 저장소 루트 기준.

M1 녹음 + STT (2026-10-15)

실제 디스코드 음성 E2E — app/scripts/voice-e2e.mts

F&L 서버 "음성" 채널. 테스트봇이 들어가 한국어 TTS 문장 3개를 말하고, 겜녹이(헤드리스 코어)가 따라 들어와 녹음했다. STT 는 개발 서버라 CPU + small 모델(게임 PC 는 GPU + large-v3-turbo/large-v3).

겜녹이 따라 들어옴 (follow): 음성
  [테스트봇] 3.9s gain 0.9dB realtime: 레이즈 공 빠졌어 비사이트로 태하자
  [테스트봇] 3.4s gain 0.1dB realtime: 오늘 저녁에 치킨 먹을래
  [테스트봇] 2.6s gain -0.7dB realtime: 나우퍼레이터 살게
녹음 제외 후 새 발화: 0개 (0 이어야 함)
음성채널 나감 (follow-left)
VOICE E2E PASS

확인한 것: 따라가기 입장·퇴장, DAVE 수신, 유저별 발화 분할(3문장 → 3발화), Ogg 저장, 대기열 STT, 녹음 제외 즉시 반영. 인식 오류("궁"→"공", 붙은 단어)는 small 모델 한계로, 게임 PC 의 large 모델 + 사전·교정 학습으로 줄인다.

자동 테스트

  • cd app && npm test — 9개 통과 (Ogg 쓰기, 사전·diff, 경기 상세·시간 표시, 타임라인 조회, 7일 삭제, STT E2E, 가짜 Riot 서버 통합)
  • cd worker && .venv/bin/python -m pytest -q — 39개 통과

M2 사이트 서버 · 사이트 v1 (2026-10-15)

  • cd site/server && npm test — 통합 테스트 통과: OAuth(state 쿠키) → 서버 멤버 확인 → 세션 → 기기 등록(1회용 코드, 잘못된 키 거절) → 실제 앱 RelayClient 연결 → JSON·음성(바이너리) 중계 → 다른 Origin 쓰기 거절 → 실시간 이벤트 → 연결 끊김 시 잠금(503) → 멤버 아니면 로그인 거절
  • cd site/web && npm run typecheck && npm run build — 오류 0. 가짜 서버로 18개 동작(무한 스크롤, 필터 URL, 검색, 재생·단어 강조, 이어듣기, 단축키, 교정, 잠금/해제, 경기 상세) 헤드리스 확인
  • 실서버: https://gvr.tkrmagid.kr 배포. 등록 코드로 개발 서버의 코어를 등록 → wss://gvr.tkrmagid.kr/device/ws 로 연결·ping 확인 (app/scripts/site-e2e.mts) 후 테스트 기기는 등록 해제
  • 화면: site/web/screenshots/ (가짜 데이터), docs/dev/live-login.png (실서버 로그인 화면)

M3 발로란트 연동 (2026-10-15)

  • app/test/games.test.ts — 가짜 Riot 서버(실제 API 구조)로 presence 경기 시작 → 팀/전체 채팅 → 실시간 점수 변화 라운드 → 경기 종료 → match-details 적용(라운드 3, 킬 4, 스파이크, 실시간 라운드 교체, 주인 계정 자동 연결)
  • app/scripts/demo-stack.mts — 전체 스택: 실제 코어 + STT 워커 + 실제 사이트 서버 코드 + 중계 + 헤드리스 브라우저
    • 발로란트 22라운드(13:9 어센트) match-details 구조 데이터 + TTS 대화 17문장을 라운드 시간에 맞춰 넣고 STT → 경기 상세 화면 확인
    • 시간 표시 R7 · 0:38 + 경기 경과, 라운드 띠, 미니맵 킬 위치(게임 좌표 → 지도 변환), 킬피드, 스코어보드(ACS), 라운드별 크레딧
    • 잠금: 게임 PC 연결을 끊으면 2.5초 안에 잠금 화면, 다시 연결하면 자동 해제 (잠금 표시 true, 재연결 후 해제 true)
    • 화면: docs/dev/screens/real-*.png
  • STT(개발 서버 CPU, small) 28문장 중 15문장 완전 일치. 나머지는 띄어쓰기·문장부호·붙은 단어 차이가 대부분
  • 발견·수정: 작은 모델이 말을 못 알아들으면 핫워드 목록을 그대로 읽는 문제("가렌 점멸 빠졌어" → "탑라이너 바텀 슈퍼미니언…") → 핫워드 40개로 줄이고, 결과가 핫워드 되풀이면 핫워드 없이 다시 변환 (worker/tests/test_hotword_echo.py)
  • 발견·수정: ACS 가 12처럼 작게 나오던 문제 (API 는 총 전투 점수, 화면이 라운드 수로 나눔)

M4 롤 연동 · 채팅 OCR (2026-10-15)

  • app/test/games.test.ts — 가짜 롤 게임 클라이언트 API(2999) + LCU 로 경기 시작 → 킬·오브젝트·인게임 채팅 → 종료 → LCU 결과·타임라인 적용, 게임 시간 표시
  • 롤 경기 상세 화면(킬 위치·골드 그래프·CS·오브젝트): docs/dev/screens/real-match-lol.png
  • Windows 실기 확인 (win-ci Windows 11 VM, tools/win-ci/run.sh full, worker/scripts/win_smoke.py)
    • 채팅 OCR(Windows 한국어 OCR): 예시 채팅 이미지 3줄 중 3줄 인식 ([팀] 민수 (아리): 드래곤 가자 등)
    • r3dlog 채팅 읽기 2줄, STT(tiny, CPU) 한국어 변환, 워커 pytest 41개 통과(1개는 리눅스 전용이라 건너뜀)
  • Windows 에서만 나던 문제 3개를 찾아 고침
    1. pywinrt 의 오래된 msvcp140.dll(14.29)이 먼저 올라가면 onnxruntime 이 0xC0000005 로 죽음 → onnxruntime·ctranslate2 를 먼저 적재, 빌드 전 winrt 의 msvcp140 삭제
    2. 첫 변환이 영원히 멈춤 → faulthandler 스택으로 위치 확인: 요청 스레드에서 scipy(OpenBLAS DLL)를 처음 불러올 때 멈춤 → 시작할 때 주 스레드에서 미리 적재 (pytest 373초 → 8초)
    3. 워커가 띄우는 파인튜닝 자식 프로세스가 시작 단계에서 멈춤 → 요청 파이프(stdin)를 물려주지 않음

M5 exe · 설정 · 모델 (2026-10-15)

  • Windows 빌드 (win-ci, electron-builder): GameVoiceRecorder-1.0.0-portable.exe 168MB(단일 파일), GameVoiceRecorder-1.0.0-win-x64.zip 258.6MB(폴더 포터블), 내장 STT 워커(PyInstaller) 324.8MB
  • exe 스모크(GameVoiceRecorder.exe --smoke): 설정 암호화 DPAPI 왕복 ✅, 워커 기동(python 3.12) ✅, GPU 감지(VM 은 GPU 없음 → CPU 경고) ✅, 사전 2,026단어 ✅, 설정 창 렌더러 ✅, 트레이 ✅
  • 워커 exe 스모크: OCR 3/3, STT, r3dlog — 파이썬 실행과 같은 결과
  • 설정 창 8개 탭 + 첫 실행 마법사 5단계: app/src/renderer/screenshots/
  • 모델 관리: GPU VRAM 으로 실시간/정밀 모델 추천, 모델·CUDA 런타임 다운로드(이어받기·sha256), 7일 뒤 음성 삭제(글자·경기 기록은 유지)

M6 단어사전 · UI/UX (2026-10-15)

  • 사전: 기본 묶음 8개(일상 93 · 게임 공통 104 · 롤 412 · 롤 스킬 850 · 20대 말투 69 · 대학생 76 · 발로란트 293 · 발로란트 콜아웃 101, 약 2,000단어) + 교정 규칙 28개
    • 게임 패치 데이터(Riot Data Dragon · valorant-api)로 새 요원·챔피언·맵 이름 자동 추가
    • 사이트 "단어사전" 화면에서 자주 쓰는 말·별명, 교정 규칙 추가/삭제 (/api/dictionary), 타임라인에서 문장을 고치면 바뀐 단어가 교정 규칙으로 자동 추가
    • 화면: docs/dev/screens/real-dictionary.png (전체 스택 시연 app/scripts/demo-stack.mts 에서 촬영)
  • 사전 효과 (GPU, 시연 대화 28문장, app/scripts/stt-eval.mts): large-v3-turbo CER 4.8% → 3.9%, small 10.9% → 8.1%
  • 테마·효과음: 발로란트(빨강)×롤(금색) 테마, 효과음은 Web Audio 합성(음원 파일 없음), 애니메이션 11종 — 사이트 설정에서 끄고 켬
  • 실서버 https://gvr.tkrmagid.kr 재배포 (사전 화면 · 사이트 서버 종료 시 WebSocket 먼저 끊기 수정 포함)

M7 실사용 테스트 · 안정화 (2026-10-15)

개발 서버 GPU(RTX 5050 8GB, 다른 서비스가 3GB 사용 중)에서 게임 PC 와 같은 GPU 경로(CUDA float16)로 측정.

실제 디스코드 음성 — GVR_E2E_SET=demo GVR_E2E_DEVICE=cuda GVR_E2E_MODEL=<large-v3-turbo> app/scripts/voice-e2e.mts

F&L "음성" 채널에서 테스트봇이 시연 대화 28문장을 연달아 말하고, 겜녹이가 따라 들어와 녹음 → STT.

발화 28개 (말한 문장 28개) · 모델 large-v3-turbo (cuda) · 지연 중앙값 1.05s · 최대 1.86s
CER 3.6% · 완전 일치 21/28
녹음 제외 후 새 발화: 0개 (0 이어야 함)
겜녹이 퇴장: true
VOICE E2E PASS
  • 발화 분할 28/28 (문장 사이 1.5초 쉼), 지연 = 말이 끝난 뒤 사이트에 글자가 생기기까지 (첫 발화 1.86초는 모델 첫 실행)
  • 발견·수정: 테스트봇만 있는 방을 "빈 방"으로 보고 30초 뒤 나가던 문제 (GVR_RECORD_BOTS=1 시험 모드에서 봇도 참가자로 셈)

모델별 인식률·속도 — GVR_EVAL_DEVICE=cuda app/scripts/stt-eval.mts

시연 대화 28문장(TTS), CER = 글자 오류율(띄어쓰기·문장부호 제외).

모델 (CUDA float16) 사전 없음 CER 사전 적용 CER 완전 일치 문장당 변환 적재
large-v3-turbo (실시간 기본) 4.8% 3.9% 21/28 0.31초 4초
large-v3 (정밀) 4.3% 4.8% 19/28 0.48초 6초
small 10.9% 8.1% 17/28 0.16초 1초 미만
  • 남은 오류는 대부분 비슷한 소리("대시"→"데스", "칠게"→"7개", "깔았어"→"깔아서"): 교정 사전·파인튜닝 대상
  • large-v3 는 이 짧은 게임 대화에서 turbo 보다 낫지 않음 → 실시간은 turbo, 정밀(경기 후 다시 변환)은 large-v3 그대로 두되 기본값은 GPU 여유로 고름
  • 게임 프레임 영향은 실제 게임 PC 에서만 잴 수 있다 (진단 탭 "STT 속도"로 VRAM·속도 확인, 경기 중 정밀 변환은 미루는 것이 기본값)

M8 파인튜닝 (2026-10-15)

GVR_FT_BASE=openai/whisper-large-v3-turbo GVR_FT_STEPS=0 GVR_FT_SYNTH=300 app/scripts/finetune-e2e.mts — 앱의 실제 학습 경로(Finetuner → finetune/run.py)

  • 데이터: 사이트에서 고친 문장 8개 + 사전 단어로 만든 문장을 Edge TTS 3개 음성으로 합성 300개(속도·피치 변화, 30% 배경 잡음) → 학습 281 / 검증 27
  • 학습: LoRA r=32, 3 에폭 54스텝, 394초, 최대 VRAM 2.7GB (RTX 5050)
  • 검증 세트 CER 9.7% → 8.3% → 자동 교체 → 새 모델로 변환 확인 → 되돌리기 확인 (FINETUNE E2E PASS)
  • 시연 대화 28문장 (CUDA float16, 학습에 쓴 8문장을 뺀 20문장 따로):
모델 사전 없음 사전 적용 학습에 안 쓴 20문장
large-v3-turbo 4.8% 3.9% 2.6%
large-v3-turbo-ft (이번 학습) 1.8% 2.0% 1.8%
  • 발견·수정 ① 첫 시험은 GPU 메모리 부족 → 얼려 둔 원본 가중치를 bf16 으로 적재(학습하는 LoRA 만 fp32)해 VRAM 절반
  • 발견·수정 ② 첫 학습 모델은 검증 CER 은 좋아졌는데(10.2→7.9%) 실제 변환에서 문장 끝에 "끝", "댕댕댕", "끈의 주인공" 같은 말을 지어냄 (사전 없음 CER 4.8% → 21.8%). 원인: <|notimestamps|> 라벨로만 학습 → 앱(faster-whisper)이 쓰는 타임스탬프 모드에서 끝맺음을 잊음. 검증도 notimestamps 로 해서 못 걸렀음. → 절반은 <|0.00|> 문장 <|말끝|> 라벨로 학습, 검증도 타임스탬프 모드로 → 위 표처럼 사전 없이도 개선
  • 한계: 합성 음성과 시연 대화가 같은 TTS 엔진이라 실제 목소리에서는 개선 폭이 작을 수 있다. 실사용 교정 데이터가 2주쯤 쌓이면 게임 PC(RTX 5070 Ti)에서 다시 학습해 비교한다