- 사용자 결정: 실제 OP.GG 연결이 아니라 계산법 참고 → 분석 때 OP.GG 를 찾아보던 opgg.ts · 결과의 OP.GG 점수 · 조회 상태 · 지시문 줄 · Riot 태그/경기 찾기 정보 제거 - 남은 것: 기록 점수(OP.GG OP스코어 계산법, 앱이 경기 기록으로 계산) · 10/15분 라인전(LOL.PS 정의) - 실제 E2E (Claude Opus 5.5 high, 외부 접속 없음): 발로란트 33초 $0.138, 롤 36초 $0.123 - 테스트: 앱 40 · 서버 16 통과 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
16 KiB
테스트 기록
단계별로 실제로 돌린 테스트와 결과. 명령은 저장소 루트 기준.
M1 녹음 + STT (2026-10-15)
실제 디스코드 음성 E2E — app/scripts/voice-e2e.mts
F&L 서버 "음성" 채널. 테스트봇이 들어가 한국어 TTS 문장 3개를 말하고, 겜녹이(헤드리스 코어)가 따라 들어와 녹음했다.
STT 는 개발 서버라 CPU + small 모델(게임 PC 는 GPU + large-v3-turbo/large-v3).
겜녹이 따라 들어옴 (follow): 음성
[테스트봇] 3.9s gain 0.9dB realtime: 레이즈 공 빠졌어 비사이트로 태하자
[테스트봇] 3.4s gain 0.1dB realtime: 오늘 저녁에 치킨 먹을래
[테스트봇] 2.6s gain -0.7dB realtime: 나우퍼레이터 살게
녹음 제외 후 새 발화: 0개 (0 이어야 함)
음성채널 나감 (follow-left)
VOICE E2E PASS
확인한 것: 따라가기 입장·퇴장, DAVE 수신, 유저별 발화 분할(3문장 → 3발화), Ogg 저장, 대기열 STT, 녹음 제외 즉시 반영. 인식 오류("궁"→"공", 붙은 단어)는 small 모델 한계로, 게임 PC 의 large 모델 + 사전·교정 학습으로 줄인다.
자동 테스트
cd app && npm test— 9개 통과 (Ogg 쓰기, 사전·diff, 경기 상세·시간 표시, 타임라인 조회, 7일 삭제, STT E2E, 가짜 Riot 서버 통합)cd worker && .venv/bin/python -m pytest -q— 39개 통과
M2 사이트 서버 · 사이트 v1 (2026-10-15)
cd site/server && npm test— 통합 테스트 통과: OAuth(state 쿠키) → 서버 멤버 확인 → 세션 → 기기 등록(1회용 코드, 잘못된 키 거절) → 실제 앱RelayClient연결 → JSON·음성(바이너리) 중계 → 다른 Origin 쓰기 거절 → 실시간 이벤트 → 연결 끊김 시 잠금(503) → 멤버 아니면 로그인 거절cd site/web && npm run typecheck && npm run build— 오류 0. 가짜 서버로 18개 동작(무한 스크롤, 필터 URL, 검색, 재생·단어 강조, 이어듣기, 단축키, 교정, 잠금/해제, 경기 상세) 헤드리스 확인- 실서버: https://gvr.tkrmagid.kr 배포. 등록 코드로 개발 서버의 코어를 등록 →
wss://gvr.tkrmagid.kr/device/ws로 연결·ping 확인 (app/scripts/site-e2e.mts) 후 테스트 기기는 등록 해제 - 화면:
site/web/screenshots/(가짜 데이터),docs/dev/live-login.png(실서버 로그인 화면)
M3 발로란트 연동 (2026-10-15)
app/test/games.test.ts— 가짜 Riot 서버(실제 API 구조)로 presence 경기 시작 → 팀/전체 채팅 → 실시간 점수 변화 라운드 → 경기 종료 → match-details 적용(라운드 3, 킬 4, 스파이크, 실시간 라운드 교체, 주인 계정 자동 연결)app/scripts/demo-stack.mts— 전체 스택: 실제 코어 + STT 워커 + 실제 사이트 서버 코드 + 중계 + 헤드리스 브라우저- 발로란트 22라운드(13:9 어센트) match-details 구조 데이터 + TTS 대화 17문장을 라운드 시간에 맞춰 넣고 STT → 경기 상세 화면 확인
- 시간 표시
R7 · 0:38+ 경기 경과, 라운드 띠, 미니맵 킬 위치(게임 좌표 → 지도 변환), 킬피드, 스코어보드(ACS), 라운드별 크레딧 - 잠금: 게임 PC 연결을 끊으면 2.5초 안에 잠금 화면, 다시 연결하면 자동 해제 (
잠금 표시 true, 재연결 후 해제 true) - 화면:
docs/dev/screens/real-*.png
- STT(개발 서버 CPU, small) 28문장 중 15문장 완전 일치. 나머지는 띄어쓰기·문장부호·붙은 단어 차이가 대부분
- 발견·수정: 작은 모델이 말을 못 알아들으면 핫워드 목록을 그대로 읽는 문제("가렌 점멸 빠졌어" → "탑라이너 바텀 슈퍼미니언…") → 핫워드 40개로 줄이고, 결과가 핫워드 되풀이면 핫워드 없이 다시 변환 (
worker/tests/test_hotword_echo.py) - 발견·수정: ACS 가 12처럼 작게 나오던 문제 (API 는 총 전투 점수, 화면이 라운드 수로 나눔)
M4 롤 연동 · 채팅 OCR (2026-10-15)
app/test/games.test.ts— 가짜 롤 게임 클라이언트 API(2999) + LCU 로 경기 시작 → 킬·오브젝트·인게임 채팅 → 종료 → LCU 결과·타임라인 적용, 게임 시간 표시- 롤 경기 상세 화면(킬 위치·골드 그래프·CS·오브젝트):
docs/dev/screens/real-match-lol.png - Windows 실기 확인 (win-ci Windows 11 VM,
tools/win-ci/run.sh full,worker/scripts/win_smoke.py)- 채팅 OCR(Windows 한국어 OCR): 예시 채팅 이미지 3줄 중 3줄 인식 (
[팀] 민수 (아리): 드래곤 가자등) - r3dlog 채팅 읽기 2줄, STT(tiny, CPU) 한국어 변환, 워커 pytest 41개 통과(1개는 리눅스 전용이라 건너뜀)
- 채팅 OCR(Windows 한국어 OCR): 예시 채팅 이미지 3줄 중 3줄 인식 (
- Windows 에서만 나던 문제 3개를 찾아 고침
- pywinrt 의 오래된
msvcp140.dll(14.29)이 먼저 올라가면 onnxruntime 이0xC0000005로 죽음 → onnxruntime·ctranslate2 를 먼저 적재, 빌드 전 winrt 의 msvcp140 삭제 - 첫 변환이 영원히 멈춤 → faulthandler 스택으로 위치 확인: 요청 스레드에서 scipy(OpenBLAS DLL)를 처음 불러올 때 멈춤 → 시작할 때 주 스레드에서 미리 적재 (pytest 373초 → 8초)
- 워커가 띄우는 파인튜닝 자식 프로세스가 시작 단계에서 멈춤 → 요청 파이프(stdin)를 물려주지 않음
- pywinrt 의 오래된
M5 exe · 설정 · 모델 (2026-10-15)
- Windows 빌드 (win-ci, electron-builder):
GameVoiceRecorder-1.0.0-portable.exe168MB(단일 파일),GameVoiceRecorder-1.0.0-win-x64.zip258.6MB(폴더 포터블), 내장 STT 워커(PyInstaller) 324.8MB - exe 스모크(
GameVoiceRecorder.exe --smoke): 설정 암호화 DPAPI 왕복 ✅, 워커 기동(python 3.12) ✅, GPU 감지(VM 은 GPU 없음 → CPU 경고) ✅, 사전 2,026단어 ✅, 설정 창 렌더러 ✅, 트레이 ✅ - 워커 exe 스모크: OCR 3/3, STT, r3dlog — 파이썬 실행과 같은 결과
- 설정 창 8개 탭 + 첫 실행 마법사 5단계:
app/src/renderer/screenshots/ - 모델 관리: GPU VRAM 으로 실시간/정밀 모델 추천, 모델·CUDA 런타임 다운로드(이어받기·sha256), 7일 뒤 음성 삭제(글자·경기 기록은 유지)
M6 단어사전 · UI/UX (2026-10-15)
- 사전: 기본 묶음 8개(일상 93 · 게임 공통 104 · 롤 412 · 롤 스킬 850 · 20대 말투 69 · 대학생 76 · 발로란트 293 · 발로란트 콜아웃 101, 약 2,000단어) + 교정 규칙 28개
- 게임 패치 데이터(Riot Data Dragon · valorant-api)로 새 요원·챔피언·맵 이름 자동 추가
- 사이트 "단어사전" 화면에서 자주 쓰는 말·별명, 교정 규칙 추가/삭제 (
/api/dictionary), 타임라인에서 문장을 고치면 바뀐 단어가 교정 규칙으로 자동 추가 - 화면:
docs/dev/screens/real-dictionary.png(전체 스택 시연app/scripts/demo-stack.mts에서 촬영)
- 사전 효과 (GPU, 시연 대화 28문장,
app/scripts/stt-eval.mts): large-v3-turbo CER 4.8% → 3.9%, small 10.9% → 8.1% - 테마·효과음: 발로란트(빨강)×롤(금색) 테마, 효과음은 Web Audio 합성(음원 파일 없음), 애니메이션 11종 — 사이트 설정에서 끄고 켬
- 실서버 https://gvr.tkrmagid.kr 재배포 (사전 화면 · 사이트 서버 종료 시 WebSocket 먼저 끊기 수정 포함)
M7 실사용 테스트 · 안정화 (2026-10-15)
개발 서버 GPU(RTX 5050 8GB, 다른 서비스가 3GB 사용 중)에서 게임 PC 와 같은 GPU 경로(CUDA float16)로 측정.
실제 디스코드 음성 — GVR_E2E_SET=demo GVR_E2E_DEVICE=cuda GVR_E2E_MODEL=<large-v3-turbo> app/scripts/voice-e2e.mts
F&L "음성" 채널에서 테스트봇이 시연 대화 28문장을 연달아 말하고, 겜녹이가 따라 들어와 녹음 → STT.
발화 28개 (말한 문장 28개) · 모델 large-v3-turbo (cuda) · 지연 중앙값 1.05s · 최대 1.86s
CER 3.6% · 완전 일치 21/28
녹음 제외 후 새 발화: 0개 (0 이어야 함)
겜녹이 퇴장: true
VOICE E2E PASS
- 발화 분할 28/28 (문장 사이 1.5초 쉼), 지연 = 말이 끝난 뒤 사이트에 글자가 생기기까지 (첫 발화 1.86초는 모델 첫 실행)
- 발견·수정: 테스트봇만 있는 방을 "빈 방"으로 보고 30초 뒤 나가던 문제 (
GVR_RECORD_BOTS=1시험 모드에서 봇도 참가자로 셈)
모델별 인식률·속도 — GVR_EVAL_DEVICE=cuda app/scripts/stt-eval.mts
시연 대화 28문장(TTS), CER = 글자 오류율(띄어쓰기·문장부호 제외).
| 모델 (CUDA float16) | 사전 없음 CER | 사전 적용 CER | 완전 일치 | 문장당 변환 | 적재 |
|---|---|---|---|---|---|
| large-v3-turbo (실시간 기본) | 4.8% | 3.9% | 21/28 | 0.31초 | 4초 |
| large-v3 (정밀) | 4.3% | 4.8% | 19/28 | 0.48초 | 6초 |
| small | 10.9% | 8.1% | 17/28 | 0.16초 | 1초 미만 |
- 남은 오류는 대부분 비슷한 소리("대시"→"데스", "칠게"→"7개", "깔았어"→"깔아서"): 교정 사전·파인튜닝 대상
- large-v3 는 이 짧은 게임 대화에서 turbo 보다 낫지 않음 → 실시간은 turbo, 정밀(경기 후 다시 변환)은 large-v3 그대로 두되 기본값은 GPU 여유로 고름
- 게임 프레임 영향은 실제 게임 PC 에서만 잴 수 있다 (진단 탭 "STT 속도"로 VRAM·속도 확인, 경기 중 정밀 변환은 미루는 것이 기본값)
M8 파인튜닝 (2026-10-15)
GVR_FT_BASE=openai/whisper-large-v3-turbo GVR_FT_STEPS=0 GVR_FT_SYNTH=300 app/scripts/finetune-e2e.mts — 앱의 실제 학습 경로(Finetuner → finetune/run.py)
- 데이터: 사이트에서 고친 문장 8개 + 사전 단어로 만든 문장을 Edge TTS 3개 음성으로 합성 300개(속도·피치 변화, 30% 배경 잡음) → 학습 281 / 검증 27
- 학습: LoRA r=32, 3 에폭 54스텝, 394초, 최대 VRAM 2.7GB (RTX 5050)
- 검증 세트 CER 9.7% → 8.3% → 자동 교체 → 새 모델로 변환 확인 → 되돌리기 확인 (
FINETUNE E2E PASS) - 시연 대화 28문장 (CUDA float16, 학습에 쓴 8문장을 뺀 20문장 따로):
| 모델 | 사전 없음 | 사전 적용 | 학습에 안 쓴 20문장 |
|---|---|---|---|
| large-v3-turbo | 4.8% | 3.9% | 2.6% |
| large-v3-turbo-ft (이번 학습) | 1.8% | 2.0% | 1.8% |
- 발견·수정 ① 첫 시험은 GPU 메모리 부족 → 얼려 둔 원본 가중치를 bf16 으로 적재(학습하는 LoRA 만 fp32)해 VRAM 절반
- 발견·수정 ② 첫 학습 모델은 검증 CER 은 좋아졌는데(10.2→7.9%) 실제 변환에서 문장 끝에 "끝", "댕댕댕", "끈의 주인공" 같은 말을 지어냄 (사전 없음 CER 4.8% → 21.8%).
원인:
<|notimestamps|>라벨로만 학습 → 앱(faster-whisper)이 쓰는 타임스탬프 모드에서 끝맺음을 잊음. 검증도 notimestamps 로 해서 못 걸렀음. → 절반은<|0.00|> 문장 <|말끝|>라벨로 학습, 검증도 타임스탬프 모드로 → 위 표처럼 사전 없이도 개선 - 한계: 합성 음성과 시연 대화가 같은 TTS 엔진이라 실제 목소리에서는 개선 폭이 작을 수 있다. 실사용 교정 데이터가 2주쯤 쌓이면 게임 PC(RTX 5070 Ti)에서 다시 학습해 비교한다
범인찾기 v1.3.0 실제 E2E (2026-10-15)
node --import tsx app/scripts/culprit-real-e2e.mts — 실제 앱 코어 → 실제 사이트 서버(중계) → 실제 Claude API (claude-opus-5-5, 생각 high, 구조화 출력) · 실제 OP.GG MCP → 근거 확인 → 게임 PC 에 저장 → 헤드리스 브라우저로 결과 화면
| 경기 | OP.GG | 걸린 시간 | 토큰 (입력 / 캐시 쓰기 / 출력) | 비용 | 범인 |
|---|---|---|---|---|---|
| 발로란트 시연 경기 (22라운드 · 킬 156 · 대화 4문장) | 없음 (시연 경기) → 기록 점수로 | 42초 | 10,579 / 7,486 / 3,320 | $0.146 | 우리 P5 (기록 점수 공동 최하위 5.0, 이유에 동점자 P4 와 비교) · 상대 P7 (기록 1.9 경기 최하위) |
| 롤 실제 솔로 랭크 (OP.GG 에서 받은 10명 실제 스탯 + 우리 팀 2명 시험용 대화 9문장) | 10명 찾음 (실제 OP스코어와 같음) | 36초 | 1,884 / 9,041 / 2,825 | $0.109 | 우리 P5 (OP.GG 3.0 · 기록 2.1 팀 최하위) · 상대 P8 (OP.GG 4.9 · 기록 5.1 팀 최하위) |
- 진행 단계:
OP.GG 점수 찾는 중 → AI 가 읽는 중 → 근거 확인 → 완료, 화면 오류 · CSP 위반 없음 - AI 평점은 전적 사이트 점수에서 출발해 승부처 · 대화로 조정됨 (롤 10명 AI 평점과 OP.GG 점수 차 평균 0.2점, 최대 0.5점). 범인 이유에 "OP.GG 점수 3.0으로 경기 최하위", "기록 점수는 현우와 5.0점 공동 최하위 … 그래서 Duck" 처럼 점수와 근거를 같이 씀
- 이 롤 경기에서 기록 점수와 실제 OP.GG 점수 차: 평균 0.5점, 팀 최하위 2팀 모두 일치
- 단위 · 통합 테스트: 앱 40개 · 사이트 서버 18개 통과 (
rating.test.ts: 실제 OP.GG 표본 20경기 · 발로란트 40명으로 평균 오차와 팀 최하위 일치 확인) - 배포: 사이트 서버(.5
gvr-web)에ANTHROPIC_API_KEY넣고 배포, 컨테이너 안에서 Claude API(claude-opus-5-5200) · OP.GG MCP(200, 세션 받음) 연결 확인, healthz 정상 - Windows CI (
be89317, full): worker_setup · ocr_lang · worker_pytest · win_smoke · worker_build · worker_exe_smoke · app_build · app_smoke 모두 PASS, 앱 버전 1.3.0 → Gitea 릴리스 v1.3.0
범인찾기 v1.3.1 (2026-10-15)
- OP.GG 클라이언트: 세션이 끝났다는 404 를 받으면 MCP 규격대로 새로
initialize하고 한 번 다시 부른다 (가짜 서버로 재시작 → 새 세션 → 계속 사용 확인, 503 은 다시 시작하지 않고 실패) - OP.GG "조회 실패"와 "경기 없음"을 나눈다: 결과
meta.opgg.error, 화면 "OP.GG 조회 실패 · 기록 점수로 분석", 지시문 "이 줄이 없으면 OP.GG 에 없는 경기이거나 조회하지 못한 경기". 실제 OP.GG: 랭크 경기 10명 찾음, 잘못된 주소 →error(3번 중 3번 실패: OP.GG 404) - LOL.PS 라인전: LOL.PS 원문 정의("10, 15분 맞라이너 골드차, 경험치차, cs차이")대로 10분 값을 더해 10 · 15분 차이를 보여 준다. 참고한 원문과 구현 대응은
tools/opscore-fit/README.md - 테스트: 앱 40개 · 사이트 서버 20개 통과, 화면 오류 · CSP 위반 없음
- 배포: 사이트 서버 다시 배포(지시문 · 화면 반영 확인), Windows CI (
0e0a272, full) 8개 모두 PASS · 앱 버전 1.3.1 → Gitea 릴리스 v1.3.1 (v1.3.0 에 새 버전 안내)
범인찾기 v1.3.2 — 외부 전적 사이트 접속 제거 (2026-10-15)
사용자 결정: 전적 사이트는 "계산법을 참고"하라는 뜻이었고 실제로 연결하는 것이 아니다 → 분석할 때 OP.GG 를 찾아보던 기능(site/server/src/opgg.ts, 결과의 OP.GG 점수 · 조회 상태, 지시문의 OP.GG 실제 점수 줄)을 뺐다. 기록 점수(OP.GG 계산법) · 10/15분 라인전(LOL.PS 정의)은 앱이 경기 기록으로 계산한다.
node --import tsx app/scripts/culprit-real-e2e.mts — 실제 Claude Opus 5.5(생각 high), 외부 사이트 접속 없음 (로그에 OP.GG 0건)
| 경기 | 걸린 시간 | 토큰 (입력 / 캐시 쓰기 / 출력) | 비용 | 범인 (기록 점수 팀 최하위) |
|---|---|---|---|---|
| 발로란트 시연 경기 (22라운드, 대화 4문장) | 33초 | 10,562 / 7,382 / 2,943 | $0.138 | 우리 P5 (공동 최하위 5.0, 동점자 P4 와 비교해 이유) · 상대 P7 (1.9, 최하위) |
| 롤 시연 경기 (10 · 15분 라인전, 대화 7문장) | 36초 | 3,186 / 8,937 / 3,300 | $0.123 | 우리 P1 (2.7, 최하위) · 상대 P7 (4.5, 최하위) |
- AI 평점과 기록 점수 차: 평균 0.4점 (롤 P2 는 "용 셋 · 유충 · 바론 싹쓸이"를 근거로 기록 3.0 → AI 5.0)
- 테스트: 앱 40개 · 사이트 서버 16개 통과 (서버 테스트에 "자료에 기록 점수 칸, 지시문 '평점은 기록 점수에서 출발', OP.GG 실제 점수 없음" 확인 추가)