- train_lora: GPU 에서 원본 가중치 bf16 적재(VRAM 절반, 최대 2.7GB), 라벨 절반을 타임스탬프 형식으로 (notimestamps 로만 학습하면 앱의 타임스탬프 모드에서 끝맺음을 잊고 문장 뒤에 말을 지어냄) - evaluate: 앱과 같은 타임스탬프 모드로 측정 - finetune-e2e: GVR_FT_BASE/STEPS/SYNTH - README·테스트 기록: M7·M8 완료 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
60 lines
3.8 KiB
TypeScript
60 lines
3.8 KiB
TypeScript
// M8 파인튜닝 통합 확인: 사이트 교정(PATCH) → 학습 데이터 → Finetuner(실제 run.py) → CER 비교 → 모델 교체·되돌리기
|
|
// GVR_FINETUNE_PYTHON=../worker/.venv-ft/bin/python node --import tsx scripts/finetune-e2e.mts
|
|
// 기본은 CPU whisper-tiny 몇 스텝 (파이프라인 확인용).
|
|
// GPU 시험 학습: GVR_FT_BASE=openai/whisper-large-v3-turbo GVR_FT_STEPS=0(=epochs 기준) GVR_FT_SYNTH=300
|
|
import fs from 'node:fs';
|
|
import os from 'node:os';
|
|
import path from 'node:path';
|
|
|
|
const root = path.resolve(import.meta.dirname, '..', '..');
|
|
const src = path.join(os.homedir(), '.tmp', 'gvr-demo');
|
|
if (!fs.existsSync(path.join(src, 'gvr.sqlite'))) throw new Error('먼저 scripts/demo-stack.mts 를 돌려 시연 데이터를 만드세요');
|
|
const work = path.join(os.homedir(), '.tmp', 'gvr-ft-e2e');
|
|
fs.rmSync(work, { recursive: true, force: true });
|
|
fs.cpSync(src, work, { recursive: true, dereference: false, verbatimSymlinks: true });
|
|
process.env.GVR_FINETUNE_PYTHON ||= path.join(root, 'worker', '.venv-ft', 'bin', 'python');
|
|
const { startCore } = await import('../src/core/index.ts');
|
|
const { Finetuner } = await import('../src/main/finetune.ts');
|
|
const core = await startCore({ dataDir: work, resourcesDir: path.join(root, 'app', 'resources'), worker: { cmd: path.join(root, 'worker/.venv/bin/python'), args: ['-m', 'gvr_worker'], cwd: path.join(root, 'worker') }, version: 'ft-e2e' });
|
|
// 틀린 문장 몇 개를 사이트에서 고친 것처럼
|
|
const fixes: [string, string][] = [
|
|
['demo000', '오늘 랭겜 몇 판 할까'],
|
|
['demo003', '제트 대시로 먼저 들어갈게'],
|
|
['demo005', '스모크 깔았어 들어가'],
|
|
['demo007', '레이즈 궁 빠졌어 B 사이트 로테 하자'],
|
|
['demo012', '나 오퍼레이터 살게'],
|
|
['demo018', '정글 탑 갱 갈게 라인 당겨줘'],
|
|
['demo020', '바텀 와드 박았어 쓰레쉬 어디 있어'],
|
|
['demo026', '내일 팀플 회의 몇 시였지'],
|
|
];
|
|
for (const [id, text] of fixes) {
|
|
const r = await core.api.inject({ method: 'PATCH', url: `/api/utterances/${id}`, payload: { text } });
|
|
if (r.statusCode !== 200) throw new Error(`PATCH ${id} ${r.statusCode}`);
|
|
}
|
|
console.log(`학습 데이터 ${core.store.trainingSamples().length}개, 사이트 교정 규칙 ${core.dict.corrections().filter((c) => c).length}개`);
|
|
const ft = new Finetuner(core, () => undefined);
|
|
console.log('학습 도구', ft.python());
|
|
const before = core.settings.get().stt.realtimeModel;
|
|
const t0 = Date.now();
|
|
const ftBase = process.env.GVR_FT_BASE || 'openai/whisper-tiny';
|
|
const ftSteps = process.env.GVR_FT_STEPS !== undefined ? Number(process.env.GVR_FT_STEPS) : 3;
|
|
await ft.start({ base: ftBase, maxSteps: ftSteps, synthCount: Number(process.env.GVR_FT_SYNTH || 16), exportAlways: ftBase.endsWith('tiny') });
|
|
console.log(`소요 ${((Date.now() - t0) / 1000).toFixed(0)}초`);
|
|
console.log('결과', ft.status.lastResult);
|
|
console.log(ft.status.log.slice(-4).join('\n'));
|
|
const after = core.settings.get().stt.realtimeModel;
|
|
console.log(`실시간 모델: ${before} → ${after} (적재 ${core.stt.status.slots.realtime.state})`);
|
|
let ok = !!ft.status.lastResult;
|
|
if (ft.status.lastResult?.adopt) {
|
|
ok = ok && after !== before && core.stt.status.slots.realtime.state === 'loaded';
|
|
// 새 모델로 실제 변환
|
|
const r = await core.worker.request('transcribe', { slot: 'realtime', path: path.join(root, 'app/resources/diag/speech_ko.ogg'), hotwords: '', corrections: [], dictionary: [], target_lufs: -18, noise_sensitivity: 0.5, denoise: false, profile_lufs: null });
|
|
console.log('새 모델 변환:', r.text);
|
|
await ft.rollback();
|
|
console.log('되돌리기 후:', core.settings.get().stt.realtimeModel);
|
|
ok = ok && core.settings.get().stt.realtimeModel === before;
|
|
}
|
|
await core.stop();
|
|
console.log(ok ? 'FINETUNE E2E PASS' : 'FINETUNE E2E FAIL');
|
|
process.exit(ok ? 0 : 1);
|