# 테스트 기록 단계별로 실제로 돌린 테스트와 결과. 명령은 저장소 루트 기준. ## M1 녹음 + STT (2026-10-15) ### 실제 디스코드 음성 E2E — `app/scripts/voice-e2e.mts` F&L 서버 "음성" 채널. 테스트봇이 들어가 한국어 TTS 문장 3개를 말하고, 겜녹이(헤드리스 코어)가 따라 들어와 녹음했다. STT 는 개발 서버라 CPU + `small` 모델(게임 PC 는 GPU + large-v3-turbo/large-v3). ``` 겜녹이 따라 들어옴 (follow): 음성 [테스트봇] 3.9s gain 0.9dB realtime: 레이즈 공 빠졌어 비사이트로 태하자 [테스트봇] 3.4s gain 0.1dB realtime: 오늘 저녁에 치킨 먹을래 [테스트봇] 2.6s gain -0.7dB realtime: 나우퍼레이터 살게 녹음 제외 후 새 발화: 0개 (0 이어야 함) 음성채널 나감 (follow-left) VOICE E2E PASS ``` 확인한 것: 따라가기 입장·퇴장, DAVE 수신, 유저별 발화 분할(3문장 → 3발화), Ogg 저장, 대기열 STT, 녹음 제외 즉시 반영. 인식 오류("궁"→"공", 붙은 단어)는 small 모델 한계로, 게임 PC 의 large 모델 + 사전·교정 학습으로 줄인다. ### 자동 테스트 - `cd app && npm test` — 9개 통과 (Ogg 쓰기, 사전·diff, 경기 상세·시간 표시, 타임라인 조회, 7일 삭제, STT E2E, 가짜 Riot 서버 통합) - `cd worker && .venv/bin/python -m pytest -q` — 39개 통과 ## M2 사이트 서버 · 사이트 v1 (2026-10-15) - `cd site/server && npm test` — 통합 테스트 통과: OAuth(state 쿠키) → 서버 멤버 확인 → 세션 → 기기 등록(1회용 코드, 잘못된 키 거절) → 실제 앱 `RelayClient` 연결 → JSON·음성(바이너리) 중계 → 다른 Origin 쓰기 거절 → 실시간 이벤트 → 연결 끊김 시 잠금(503) → 멤버 아니면 로그인 거절 - `cd site/web && npm run typecheck && npm run build` — 오류 0. 가짜 서버로 18개 동작(무한 스크롤, 필터 URL, 검색, 재생·단어 강조, 이어듣기, 단축키, 교정, 잠금/해제, 경기 상세) 헤드리스 확인 - 실서버: https://gvr.tkrmagid.kr 배포. 등록 코드로 개발 서버의 코어를 등록 → `wss://gvr.tkrmagid.kr/device/ws` 로 연결·ping 확인 (`app/scripts/site-e2e.mts`) 후 테스트 기기는 등록 해제 - 화면: `site/web/screenshots/` (가짜 데이터), `docs/dev/live-login.png` (실서버 로그인 화면) ## M3 발로란트 연동 (2026-10-15) - `app/test/games.test.ts` — 가짜 Riot 서버(실제 API 구조)로 presence 경기 시작 → 팀/전체 채팅 → 실시간 점수 변화 라운드 → 경기 종료 → match-details 적용(라운드 3, 킬 4, 스파이크, 실시간 라운드 교체, 주인 계정 자동 연결) - `app/scripts/demo-stack.mts` — **전체 스택**: 실제 코어 + STT 워커 + 실제 사이트 서버 코드 + 중계 + 헤드리스 브라우저 - 발로란트 22라운드(13:9 어센트) match-details 구조 데이터 + TTS 대화 17문장을 라운드 시간에 맞춰 넣고 STT → 경기 상세 화면 확인 - 시간 표시 `R7 · 0:38` + 경기 경과, 라운드 띠, 미니맵 킬 위치(게임 좌표 → 지도 변환), 킬피드, 스코어보드(ACS), 라운드별 크레딧 - 잠금: 게임 PC 연결을 끊으면 2.5초 안에 잠금 화면, 다시 연결하면 자동 해제 (`잠금 표시 true, 재연결 후 해제 true`) - 화면: `docs/dev/screens/real-*.png` - STT(개발 서버 CPU, small) 28문장 중 15문장 완전 일치. 나머지는 띄어쓰기·문장부호·붙은 단어 차이가 대부분 - 발견·수정: 작은 모델이 말을 못 알아들으면 핫워드 목록을 그대로 읽는 문제("가렌 점멸 빠졌어" → "탑라이너 바텀 슈퍼미니언…") → 핫워드 40개로 줄이고, 결과가 핫워드 되풀이면 핫워드 없이 다시 변환 (`worker/tests/test_hotword_echo.py`) - 발견·수정: ACS 가 12처럼 작게 나오던 문제 (API 는 총 전투 점수, 화면이 라운드 수로 나눔) ## M4 롤 연동 · 채팅 OCR (2026-10-15) - `app/test/games.test.ts` — 가짜 롤 게임 클라이언트 API(2999) + LCU 로 경기 시작 → 킬·오브젝트·인게임 채팅 → 종료 → LCU 결과·타임라인 적용, 게임 시간 표시 - 롤 경기 상세 화면(킬 위치·골드 그래프·CS·오브젝트): `docs/dev/screens/real-match-lol.png` - **Windows 실기 확인** (win-ci Windows 11 VM, `tools/win-ci/run.sh full`, `worker/scripts/win_smoke.py`) - 채팅 OCR(Windows 한국어 OCR): 예시 채팅 이미지 3줄 중 **3줄** 인식 (`[팀] 민수 (아리): 드래곤 가자` 등) - r3dlog 채팅 읽기 2줄, STT(tiny, CPU) 한국어 변환, 워커 pytest 41개 통과(1개는 리눅스 전용이라 건너뜀) - Windows 에서만 나던 문제 3개를 찾아 고침 1. pywinrt 의 오래된 `msvcp140.dll`(14.29)이 먼저 올라가면 onnxruntime 이 `0xC0000005` 로 죽음 → onnxruntime·ctranslate2 를 먼저 적재, 빌드 전 winrt 의 msvcp140 삭제 2. 첫 변환이 영원히 멈춤 → faulthandler 스택으로 위치 확인: 요청 스레드에서 scipy(OpenBLAS DLL)를 처음 불러올 때 멈춤 → 시작할 때 주 스레드에서 미리 적재 (pytest 373초 → 8초) 3. 워커가 띄우는 파인튜닝 자식 프로세스가 시작 단계에서 멈춤 → 요청 파이프(stdin)를 물려주지 않음 ## M5 exe · 설정 · 모델 (2026-10-15) - Windows 빌드 (win-ci, electron-builder): `GameVoiceRecorder-1.0.0-portable.exe` 168MB(단일 파일), `GameVoiceRecorder-1.0.0-win-x64.zip` 258.6MB(폴더 포터블), 내장 STT 워커(PyInstaller) 324.8MB - exe 스모크(`GameVoiceRecorder.exe --smoke`): 설정 암호화 DPAPI 왕복 ✅, 워커 기동(python 3.12) ✅, GPU 감지(VM 은 GPU 없음 → CPU 경고) ✅, 사전 2,026단어 ✅, 설정 창 렌더러 ✅, 트레이 ✅ - 워커 exe 스모크: OCR 3/3, STT, r3dlog — 파이썬 실행과 같은 결과 - 설정 창 8개 탭 + 첫 실행 마법사 5단계: `app/src/renderer/screenshots/` - 모델 관리: GPU VRAM 으로 실시간/정밀 모델 추천, 모델·CUDA 런타임 다운로드(이어받기·sha256), 7일 뒤 음성 삭제(글자·경기 기록은 유지) ## M6 단어사전 · UI/UX (2026-10-15) - 사전: 기본 묶음 8개(일상 93 · 게임 공통 104 · 롤 412 · 롤 스킬 850 · 20대 말투 69 · 대학생 76 · 발로란트 293 · 발로란트 콜아웃 101, 약 2,000단어) + 교정 규칙 28개 - 게임 패치 데이터(Riot Data Dragon · valorant-api)로 새 요원·챔피언·맵 이름 자동 추가 - 사이트 "단어사전" 화면에서 자주 쓰는 말·별명, 교정 규칙 추가/삭제 (`/api/dictionary`), 타임라인에서 문장을 고치면 바뀐 단어가 교정 규칙으로 자동 추가 - 화면: `docs/dev/screens/real-dictionary.png` (전체 스택 시연 `app/scripts/demo-stack.mts` 에서 촬영) - 사전 효과 (GPU, 시연 대화 28문장, `app/scripts/stt-eval.mts`): large-v3-turbo CER 4.8% → **3.9%**, small 10.9% → 8.1% - 테마·효과음: 발로란트(빨강)×롤(금색) 테마, 효과음은 Web Audio 합성(음원 파일 없음), 애니메이션 11종 — 사이트 설정에서 끄고 켬 - 실서버 https://gvr.tkrmagid.kr 재배포 (사전 화면 · 사이트 서버 종료 시 WebSocket 먼저 끊기 수정 포함) ## M7 실사용 테스트 · 안정화 (2026-10-15) 개발 서버 GPU(RTX 5050 8GB, 다른 서비스가 3GB 사용 중)에서 게임 PC 와 같은 GPU 경로(CUDA float16)로 측정. ### 실제 디스코드 음성 — `GVR_E2E_SET=demo GVR_E2E_DEVICE=cuda GVR_E2E_MODEL= app/scripts/voice-e2e.mts` F&L "음성" 채널에서 테스트봇이 시연 대화 28문장을 연달아 말하고, 겜녹이가 따라 들어와 녹음 → STT. ``` 발화 28개 (말한 문장 28개) · 모델 large-v3-turbo (cuda) · 지연 중앙값 1.05s · 최대 1.86s CER 3.6% · 완전 일치 21/28 녹음 제외 후 새 발화: 0개 (0 이어야 함) 겜녹이 퇴장: true VOICE E2E PASS ``` - 발화 분할 28/28 (문장 사이 1.5초 쉼), 지연 = 말이 끝난 뒤 사이트에 글자가 생기기까지 (첫 발화 1.86초는 모델 첫 실행) - 발견·수정: 테스트봇만 있는 방을 "빈 방"으로 보고 30초 뒤 나가던 문제 (`GVR_RECORD_BOTS=1` 시험 모드에서 봇도 참가자로 셈) ### 모델별 인식률·속도 — `GVR_EVAL_DEVICE=cuda app/scripts/stt-eval.mts` 시연 대화 28문장(TTS), CER = 글자 오류율(띄어쓰기·문장부호 제외). | 모델 (CUDA float16) | 사전 없음 CER | 사전 적용 CER | 완전 일치 | 문장당 변환 | 적재 | |---|---|---|---|---|---| | large-v3-turbo (실시간 기본) | 4.8% | **3.9%** | 21/28 | 0.31초 | 4초 | | large-v3 (정밀) | 4.3% | 4.8% | 19/28 | 0.48초 | 6초 | | small | 10.9% | 8.1% | 17/28 | 0.16초 | 1초 미만 | - 남은 오류는 대부분 비슷한 소리("대시"→"데스", "칠게"→"7개", "깔았어"→"깔아서"): 교정 사전·파인튜닝 대상 - large-v3 는 이 짧은 게임 대화에서 turbo 보다 낫지 않음 → 실시간은 turbo, 정밀(경기 후 다시 변환)은 large-v3 그대로 두되 기본값은 GPU 여유로 고름 - 게임 프레임 영향은 실제 게임 PC 에서만 잴 수 있다 (진단 탭 "STT 속도"로 VRAM·속도 확인, 경기 중 정밀 변환은 미루는 것이 기본값) ## M8 파인튜닝 (2026-10-15) `GVR_FT_BASE=openai/whisper-large-v3-turbo GVR_FT_STEPS=0 GVR_FT_SYNTH=300 app/scripts/finetune-e2e.mts` — 앱의 실제 학습 경로(`Finetuner` → `finetune/run.py`) - 데이터: 사이트에서 고친 문장 8개 + 사전 단어로 만든 문장을 Edge TTS 3개 음성으로 합성 300개(속도·피치 변화, 30% 배경 잡음) → 학습 281 / 검증 27 - 학습: LoRA r=32, 3 에폭 54스텝, **394초**, 최대 VRAM **2.7GB** (RTX 5050) - 검증 세트 CER 9.7% → **8.3%** → 자동 교체 → 새 모델로 변환 확인 → 되돌리기 확인 (`FINETUNE E2E PASS`) - 시연 대화 28문장 (CUDA float16, 학습에 쓴 8문장을 뺀 20문장 따로): | 모델 | 사전 없음 | 사전 적용 | 학습에 안 쓴 20문장 | |---|---|---|---| | large-v3-turbo | 4.8% | 3.9% | 2.6% | | large-v3-turbo-ft (이번 학습) | **1.8%** | 2.0% | **1.8%** | - 발견·수정 ① 첫 시험은 GPU 메모리 부족 → 얼려 둔 원본 가중치를 bf16 으로 적재(학습하는 LoRA 만 fp32)해 VRAM 절반 - 발견·수정 ② 첫 학습 모델은 검증 CER 은 좋아졌는데(10.2→7.9%) 실제 변환에서 문장 끝에 "끝", "댕댕댕", "끈의 주인공" 같은 말을 지어냄 (사전 없음 CER 4.8% → 21.8%). 원인: `<|notimestamps|>` 라벨로만 학습 → 앱(faster-whisper)이 쓰는 타임스탬프 모드에서 끝맺음을 잊음. 검증도 notimestamps 로 해서 못 걸렀음. → 절반은 `<|0.00|> 문장 <|말끝|>` 라벨로 학습, 검증도 타임스탬프 모드로 → 위 표처럼 사전 없이도 개선 - 한계: 합성 음성과 시연 대화가 같은 TTS 엔진이라 실제 목소리에서는 개선 폭이 작을 수 있다. 실사용 교정 데이터가 2주쯤 쌓이면 게임 PC(RTX 5070 Ti)에서 다시 학습해 비교한다 ## 범인찾기 v1.3.0 실제 E2E (2026-10-15) `node --import tsx app/scripts/culprit-real-e2e.mts` — 실제 앱 코어 → 실제 사이트 서버(중계) → **실제 Claude API (claude-opus-5-5, 생각 high, 구조화 출력)** · **실제 OP.GG MCP** → 근거 확인 → 게임 PC 에 저장 → 헤드리스 브라우저로 결과 화면 | 경기 | OP.GG | 걸린 시간 | 토큰 (입력 / 캐시 쓰기 / 출력) | 비용 | 범인 | |---|---|---|---|---|---| | 발로란트 시연 경기 (22라운드 · 킬 156 · 대화 4문장) | 없음 (시연 경기) → 기록 점수로 | 42초 | 10,579 / 7,486 / 3,320 | $0.146 | 우리 P5 (기록 점수 공동 최하위 5.0, 이유에 동점자 P4 와 비교) · 상대 P7 (기록 1.9 경기 최하위) | | 롤 실제 솔로 랭크 (OP.GG 에서 받은 10명 실제 스탯 + 우리 팀 2명 시험용 대화 9문장) | **10명 찾음** (실제 OP스코어와 같음) | 36초 | 1,884 / 9,041 / 2,825 | $0.109 | 우리 P5 (OP.GG 3.0 · 기록 2.1 팀 최하위) · 상대 P8 (OP.GG 4.9 · 기록 5.1 팀 최하위) | - 진행 단계: `OP.GG 점수 찾는 중 → AI 가 읽는 중 → 근거 확인 → 완료`, 화면 오류 · CSP 위반 없음 - AI 평점은 전적 사이트 점수에서 출발해 승부처 · 대화로 조정됨 (롤 10명 AI 평점과 OP.GG 점수 차 평균 0.2점, 최대 0.5점). 범인 이유에 "OP.GG 점수 3.0으로 경기 최하위", "기록 점수는 현우와 5.0점 공동 최하위 … 그래서 Duck" 처럼 점수와 근거를 같이 씀 - 이 롤 경기에서 기록 점수와 실제 OP.GG 점수 차: 평균 0.5점, 팀 최하위 2팀 모두 일치 - 단위 · 통합 테스트: 앱 40개 · 사이트 서버 18개 통과 (`rating.test.ts`: 실제 OP.GG 표본 20경기 · 발로란트 40명으로 평균 오차와 팀 최하위 일치 확인) - 배포: 사이트 서버(.5 `gvr-web`)에 `ANTHROPIC_API_KEY` 넣고 배포, 컨테이너 안에서 Claude API(`claude-opus-5-5` 200) · OP.GG MCP(200, 세션 받음) 연결 확인, healthz 정상 - Windows CI (be89317, full): worker_setup · ocr_lang · worker_pytest · win_smoke · worker_build · worker_exe_smoke · app_build · app_smoke 모두 PASS, 앱 버전 1.3.0 → Gitea 릴리스 v1.3.0 ## 범인찾기 v1.3.1 (2026-10-15) - OP.GG 클라이언트: 세션이 끝났다는 404 를 받으면 MCP 규격대로 새로 `initialize` 하고 한 번 다시 부른다 (가짜 서버로 재시작 → 새 세션 → 계속 사용 확인, 503 은 다시 시작하지 않고 실패) - OP.GG "조회 실패"와 "경기 없음"을 나눈다: 결과 `meta.opgg.error`, 화면 "OP.GG 조회 실패 · 기록 점수로 분석", 지시문 "이 줄이 없으면 OP.GG 에 없는 경기이거나 조회하지 못한 경기". 실제 OP.GG: 랭크 경기 10명 찾음, 잘못된 주소 → `error` (3번 중 3번 실패: OP.GG 404) - LOL.PS 라인전: LOL.PS 원문 정의("10, 15분 맞라이너 골드차, 경험치차, cs차이")대로 10분 값을 더해 10 · 15분 차이를 보여 준다. 참고한 원문과 구현 대응은 `tools/opscore-fit/README.md` - 테스트: 앱 40개 · 사이트 서버 20개 통과, 화면 오류 · CSP 위반 없음 - 배포: 사이트 서버 다시 배포(지시문 · 화면 반영 확인), Windows CI (0e0a272, full) 8개 모두 PASS · 앱 버전 1.3.1 → Gitea 릴리스 v1.3.1 (v1.3.0 에 새 버전 안내)