pywinrt가 넣어 둔 오래된 msvcp140.dll(14.29)이 먼저 올라가면 onnxruntime이 0xC0000005로 죽음 (불러오는 순서별 시험)
onnxruntime·ctranslate2를 먼저 적재, 빌드 전 winrt의 msvcp140 삭제
첫 음성 변환이 응답 없이 영원히 멈춤 (pytest 373초 후 실패)
요청 처리 스레드에서 scipy(OpenBLAS DLL)를 처음 불러올 때 멈춤. faulthandler로 스택을 찍어 scipy.linalg.blas 적재 중임을 확인, 주 스레드에서 먼저 불러오면 정상인 것도 확인
워커 시작 때 주 스레드에서 scipy·pyloudnorm 미리 적재 → pytest 8초
파인튜닝 요청이 120초 응답 없음
워커가 띄운 자식 프로세스가 워커의 요청 파이프(stdin)를 물려받아, 시작 단계에서 주 스레드의 읽기 대기와 엉켜 멈춤
자식 프로세스에 stdin을 넘기지 않음
6M5 — 포터블 exe · 설정 · 모델
결과물 (Windows 빌드)
크기
설명
GameVoiceRecorder-1.0.0-portable.exe
168 MB
파일 하나로 실행 (실행할 때 임시 폴더에 풀림)
GameVoiceRecorder-1.0.0-win-x64.zip
259 MB
폴더 포터블 (권장: 풀 필요가 없어 시작이 빠름)
내장 STT 워커 (PyInstaller)
325 MB
zip·exe 안에 포함. 모델(1.5~2.9GB)과 CUDA 런타임(1.2GB)은 첫 실행 때 다운로드
exe 실행 확인 (GameVoiceRecorder.exe --smoke): 설정 암호화 DPAPI 왕복 ✓ · 워커 기동 ✓ · GPU 감지(VM은 GPU가 없어 CPU 경고) ✓ · 사전 2,026단어 ✓ · 설정 창 화면 ✓ · 트레이 ✓. 워커 exe 단독 실행도 OCR 3/3·STT 통과.
첫 실행 마법사 3단계 — GPU VRAM을 보고 실시간/정밀 모델 추천, 다운로드(이어받기)설정 창 · STT 탭 — 모델·정밀도·잡음 민감도·음량설정 창 · 게임 탭 — 발로란트·롤 연동, 채팅 OCR 영역설정 창 · 진단 탭 — 게임 PC 점검
설정 창 화면은 가짜 데이터(RTX 5070 Ti 가정)로 띄워 찍은 것입니다. 실제 exe에서 같은 화면이 뜨는지는 Windows 스모크의 "설정 창 화면 ✓"로 확인했습니다.
7M6 — 단어사전 · UI/UX
기본 사전 8묶음 약 2,000단어: 일상 93 · 게임 공통 104 · 롤 412 · 롤 스킬 850 · 20대 말투 69 · 대학생 76 · 발로란트 293 · 발로란트 콜아웃 101, 교정 규칙 28개
경기마다 그 경기에 나온 요원·챔피언·선수 이름을 핫워드 앞쪽에 넣음. 게임 패치 데이터로 새 이름 자동 추가
사이트에서 문장을 고치면 바뀐 단어가 교정 규칙으로 자동 추가되고, 같은 문장은 파인튜닝 학습 데이터가 됨
발로란트(빨강) × 롤(금색) 테마, 효과음(Web Audio로 합성해 음원 파일 없음, 종류별로 끄고 켬), 애니메이션 11종, 모션 줄이기
사이트 단어사전 화면 — 묶음별 단어 수, 자주 쓰는 말·별명 추가, 교정 규칙(잘못 나온 말 → 바른 말)
8M7 — 실사용 테스트 (GPU)
이 서버 GPU(RTX 5050 8GB, 다른 서비스가 3GB 사용 중)에서 게임 PC와 같은 GPU 방식(CUDA float16)으로 측정했습니다.
실제 디스코드 음성 28문장
F&L "음성" 채널 · 테스트봇이 시연 대화 28문장을 연달아 말함 → 겜녹이 따라 들어와 녹음 → STT
발화 28개 (말한 문장 28개) · 모델 large-v3-turbo (cuda) · 지연 중앙값 1.05s · 최대 1.86s
CER 3.6% · 완전 일치 21/28
녹음 제외 후 새 발화: 0개 (0 이어야 함)
겜녹이 퇴장: true
VOICE E2E PASS
28문장을 28개 발화로 정확히 나눔. 지연은 말이 끝난 뒤 사이트에 글자가 생기기까지 걸린 시간(첫 발화 1.86초는 모델 첫 실행)
시험 중 발견·수정: 시험용 봇만 있는 방을 "빈 방"으로 보고 30초 뒤 나가던 문제(시험 모드에서 봇도 참가자로 셈)
모델별 인식률·속도 (시연 대화 28문장)
모델 (CUDA float16)
사전 없음 CER
사전 적용 CER
완전 일치
문장당 변환
적재
large-v3-turbo (실시간 기본)
4.8%
3.9%
21/28
0.31초
4초
large-v3 (정밀)
4.3%
4.8%
19/28
0.48초
6초
small
10.9%
8.1%
17/28
0.16초
1초 미만
남은 오류는 대부분 소리가 비슷한 말입니다: "대시→데스", "칠게→7개", "깔았어→깔아서". 교정 사전과 파인튜닝이 맡을 부분입니다
짧은 게임 대화에서는 large-v3가 turbo보다 낫지 않았습니다. 그래서 실시간은 turbo, 정밀 변환은 경기가 끝난 뒤에 하는 지금 기본값을 유지합니다
9M8 — 파인튜닝
앱의 실제 학습 경로를 그대로 GPU에서 돌렸습니다: 사이트 교정 → 학습 데이터 → 학습 → 학습 전후 오류율 비교 → 좋아졌을 때만 모델 교체 → 되돌리기. 결과는 FINETUNE E2E PASS였습니다.
항목
내용
학습 데이터
사이트에서 고친 문장 8개 + 사전 단어로 만든 문장을 Edge TTS 3개 음성으로 합성한 300개(속도·피치 변화, 30% 배경 잡음) → 학습 281 / 검증 27
학습
openai/whisper-large-v3-turbo + LoRA(r=32), 3에폭 54스텝, 394초, 최대 VRAM 2.7GB
검증 세트 CER
9.7% → 8.3% → 자동으로 새 모델 적용(CTranslate2 float16, 1.6GB) → 새 모델로 변환 확인 → 이전 모델로 되돌리기 확인
시연 대화 28문장 CER (낮을수록 좋음)
학습에 쓴 8문장을 뺀 20문장 결과도 따로 표시
기본 turbo · 사전 없음
4.8%
기본 turbo · 사전 적용
3.9%
파인튜닝 · 사전 없음
1.8%
파인튜닝 · 사전 적용
2.0%
학습에 안 쓴 20문장: 기본 → 파인튜닝
2.6→1.8
학습하면서 찾아 고친 문제 2개
증상
원인
수정
첫 학습이 GPU 메모리 부족으로 실패
바뀌지 않는 원본 가중치까지 fp32로 올림(3.2GB). 이 서버 GPU는 다른 서비스가 3GB를 씀
원본은 bf16, 학습하는 LoRA만 fp32 → VRAM 절반(최대 2.7GB)
검증 CER은 좋아졌는데(10.2→7.9%) 실제 변환에서 문장 끝에 "끝", "댕댕댕", "끈의 주인공" 같은 말을 지어냄 (사전 없음 CER 4.8% → 21.8%)
타임스탬프 없는 라벨로만 학습해서, 앱(faster-whisper)이 쓰는 타임스탬프 모드에서 문장을 끝맺는 법을 잊음. 검증도 타임스탬프 없이 해서 걸러내지 못함
라벨 절반을 <|0.00|> 문장 <|말끝|> 형식으로, 검증도 타임스탬프 모드로 → 사전 없이도 1.8%
해석할 때 주의할 점
합성 학습 음성과 시연 대화가 같은 TTS 엔진이라, 실제 사람 목소리에서는 개선 폭이 이보다 작을 수 있습니다. 계획대로 실사용 교정 데이터가 2주쯤 쌓이면 게임 PC(RTX 5070 Ti)에서 다시 학습해 비교합니다. 앱은 오류율이 나아질 때만 새 모델로 바꾸고, 언제든 되돌릴 수 있습니다.
10게임 PC에서 처음 할 일
GameVoiceRecorder-1.0.0-win-x64.zip을 원하는 폴더에 풀고 GameVoiceRecorder.exe 실행 → 첫 실행 마법사(봇 토큰 → 게임 선택 → 모델 다운로드 → 사전 → 사이트 등록)
설정 창 진단 탭 → 전체 진단: RTX 5070 Ti STT 속도·VRAM, CUDA 런타임, 발로란트·롤 로컬 API, LCU 타임라인, 채팅 OCR, r3dlog 채팅
사이트 등록 코드를 앱에 넣어 https://gvr.tkrmagid.kr 연결 → 친구들과 디스코드 음성방에서 발로란트·롤 한 판씩
사이트 타임라인에서 틀린 문장을 고치면 교정 사전과 다음 파인튜닝 데이터가 됨
아직 확인하지 못한 것
항목
이유
확인 방법
실제 경기 중 발로란트·롤 API 응답
개발 서버·VM에서 게임 실행 불가 (실제 API와 같은 구조의 가짜 서버로 전 과정 테스트함)
진단 탭 + 실제 경기 1판
게임 프레임 영향
게임 PC에서만 측정 가능
경기 중 프레임 비교. 정밀 변환은 경기 후로 미루는 것이 기본값
Windows CUDA DLL 적재 (RTX 5070 Ti)
VM에 GPU 없음 (GPU 경로 자체는 이 서버 RTX 5050에서 확인)
진단 탭 "STT 속도"
실제 사람 목소리 인식률
시험은 TTS 목소리로 함
실사용 2주 후 교정률·CER
11부록 — 확인 명령과 커밋
다시 돌려 볼 수 있는 확인 명령 (저장소 루트 기준)
# 자동 테스트
cd app && npm test && npx tsc --noEmit -p . # 앱 9개
cd worker && .venv/bin/python -m pytest -q # 워커 42개
cd site/server && npm test # 사이트 서버 통합
# 실제 디스코드 음성 (F&L "음성" 채널, GPU)
GVR_E2E_SET=demo GVR_E2E_DEVICE=cuda GVR_E2E_MODEL=<large-v3-turbo 폴더> \
node --import tsx app/scripts/voice-e2e.mts 789051930965835810 934817907479810048
# 모델별 인식률 (GPU)
GVR_EVAL_DEVICE=cuda node --import tsx app/scripts/stt-eval.mts <모델 폴더> large-v3-turbo large-v3 small
# 파인튜닝 전체 경로 (GPU)
GVR_FT_BASE=openai/whisper-large-v3-turbo GVR_FT_STEPS=0 GVR_FT_SYNTH=300 node --import tsx app/scripts/finetune-e2e.mts
# Windows 검증·exe 빌드 (win-ci VM)
tools/win-ci/run.sh full <커밋>
단계별 커밋 (Gitea main)
커밋
내용
7c9146c
M0 기술 검증 — 구조 설계, STT 워커, 앱 코어, 게임 PC 진단
2745af8
M1 녹음 + STT 기본 — 실제 디스코드 음성 E2E 통과
9abda88
M2 사이트 서버 · 사이트 v1 — gvr.tkrmagid.kr 배포
5222b3e
M3 발로란트 연동 — 전체 스택 시연·테스트, 핫워드 되풀이 방지
827e9d8 · e6723a4
M4 Windows 워커 크래시(msvcp140)·첫 변환 멈춤(scipy) 수정
5f04ccd · ae2af63 · 8f44f22
M5 포터블 exe(트레이·설정 창·마법사), Windows 자식 프로세스 멈춤·빌드 경로 수정