5 Commits

Author SHA1 Message Date
EJClaw
010d2475cc v1.4.3: 상대 닉네임을 말로 적던 문제 ("QQQWWWQ")
- 선수 이름은 한글이 들어간 것만 핫워드로 넣는다
- 결과가 선수 이름(조각)뿐이면 워커가 이름을 빼고 다시 변환 (is_name_echo, player_names)
- 예전에 이렇게 적힌 발화는 한 번만 정밀 모델로 다시 변환 (파일 없으면 숨김, 고친 발화 제외)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-17 00:30:21 +09:00
EJClaw
a4511a8eaf 사이트: 모르는 유저 다시 받기가 한 번 실패하면 영영 안 받던 문제
받는 중 중복만 막고, 실패하면 다음 이벤트에서 다시 받는다 (성공한 아이디만 기억).
lib/unknown-users.ts 로 빼고 테스트 추가, 목 서버에 /mock/users-fail · latejoin?again=1

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 22:56:45 +09:00
EJClaw
0b8789c895 테스트 기록: v1.4.2 릴리스
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 22:51:36 +09:00
EJClaw
79d6bb2aad v1.4.2: 녹음 중에 들어온 사람이 사이트에서 "알 수 없음"으로 뜨던 문제
- 앱: 녹음 중 새로 들어온 사람을 저장한 뒤 users.updated 를 보낸다
- 사이트: 실시간 발화 · 녹음 상태에 모르는 유저 아이디가 오면 유저 목록을 한 번 다시 받는다 (예전 앱 대비)
- 목 서버: /mock/latejoin 로 재현

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 22:41:48 +09:00
EJClaw
c6a8721fce 테스트 기록: v1.4.1 릴리스
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 20:55:50 +09:00
14 changed files with 453 additions and 31 deletions

View File

@@ -8,7 +8,7 @@
- 설계·계획: [`docs/gemnoki-project-plan.pdf`](docs/gemnoki-project-plan.pdf), 개발 구조·인터페이스: [`docs/dev/ARCHITECTURE.md`](docs/dev/ARCHITECTURE.md)
- 범인찾기 · 리플레이 동기화 계획서 v1.2 (결정 반영): [`docs/culprit-finder-plan.pdf`](docs/culprit-finder-plan.pdf) · 원본 · 비용 계산 · 프롬프트 초안: `docs/report/culprit/` (실제로 쓰는 프롬프트는 `site/server/prompt/`)
- **제작 완료 보고서 (M0~M8)**: [`docs/gemnoki-final-report.pdf`](docs/gemnoki-final-report.pdf) · 단계별 테스트 기록: [`docs/dev/test-results.md`](docs/dev/test-results.md)
- Windows 실행 파일: Gitea 릴리스 [v1.4.1](https://git.tkrmagid.kr/tkrmagid/game_voice_recorder/releases/tag/v1.4.1) (`GameVoiceRecorder-1.4.1-win-x64.zip` 권장, 단일 파일 `GameVoiceRecorder-1.4.1-portable.exe`) · 바뀐 점 보고서 [`docs/gemnoki-v1.3.7-report.pdf`](docs/gemnoki-v1.3.7-report.pdf) · 처음 버전 [v1.0.0](https://git.tkrmagid.kr/tkrmagid/game_voice_recorder/releases/tag/v1.0.0)
- Windows 실행 파일: Gitea 릴리스 [v1.4.2](https://git.tkrmagid.kr/tkrmagid/game_voice_recorder/releases/tag/v1.4.3) (`GameVoiceRecorder-1.4.3-win-x64.zip` 권장, 단일 파일 `GameVoiceRecorder-1.4.3-portable.exe`) · 바뀐 점 보고서 [`docs/gemnoki-v1.3.7-report.pdf`](docs/gemnoki-v1.3.7-report.pdf) · 처음 버전 [v1.0.0](https://git.tkrmagid.kr/tkrmagid/game_voice_recorder/releases/tag/v1.0.0)
## 로그인 · 관리자 (v1.2.0~)
@@ -19,6 +19,18 @@
- 앱은 시작할 때와 10분마다 등록 여부를 다시 확인한다. 등록이 해제되면 바로 잠그고 봇 · 녹음 · 사이트 연결을 멈춘다. 사이트 서버에 못 붙으면 마지막 확인 뒤 3일까지는 그대로 쓴다.
- 서버 쪽: `site/server/src/app-auth.ts` (`/auth/app/*`, `/app/me`, `/app/admin/users`), 앱 쪽: `app/src/core/auth.ts`, 권한 목록: `app/src/core/roles.ts`. 로그인 E2E: `app/scripts/login-e2e.mts`.
## v1.4.3 바뀐 점
- 상대 닉네임을 말로 적던 문제 (예: 말소리가 "QQQWWWQ"로 나옴): 그 경기 선수 이름을 모두 핫워드로 넣어서, 말을 못 알아들으면 Whisper 가 닉네임을 그대로 적었다. 이제
- 선수 이름은 한글이 들어간 것만 핫워드로 넣는다 (영문 · 숫자 닉네임은 한국어 말로 나올 일이 거의 없음)
- 결과가 선수 이름(또는 그 조각)뿐이면 워커가 선수 이름을 빼고 한 번 더 변환한다 (`worker/gvr_worker/stt.py` `is_name_echo`, 앱이 `player_names` 로 넘김)
- 한 번만: 예전에 이렇게 적힌 발화를 정밀 모델로 다시 변환한다 (음성 파일이 지워졌으면 숨김, 사람이 고친 발화는 그대로). `app/src/core/stt/pipeline.ts` `recheckNameEchoes`
## v1.4.2 바뀐 점
- 녹음 중에 음성채널에 들어온 사람이 사이트에서 "알 수 없음"으로 뜨던 문제: 앱이 그 사람을 유저로 저장만 하고 `users.updated` 를 보내지 않았다. 이제 들어올 때 보낸다 (`app/src/core/discord/bot.ts` onVoiceState)
- 사이트도 실시간 발화 · 녹음 상태에 처음 보는 사람 아이디가 오면 유저 목록을 한 번 다시 받아 온다 (v1.4.1 이하 앱에서도 이름이 뜸)
## v1.4.1 바뀐 점
- 잡음으로 배운 문장 비교: v1.4.0 은 편집 거리로 비교해서, 배운 문장 뒤에 짧은 실제 말("네", "가자", "아니")이 붙은 발화까지 잡음으로 지웠다. 이제 글자 수가 같고 15% 안 글자만 바뀐 것(인식이 한두 글자 다르게 나온 것)만 같은 문장으로 본다

4
app/package-lock.json generated
View File

@@ -1,12 +1,12 @@
{
"name": "gvr-app",
"version": "1.4.1",
"version": "1.4.3",
"lockfileVersion": 3,
"requires": true,
"packages": {
"": {
"name": "gvr-app",
"version": "1.4.1",
"version": "1.4.3",
"license": "UNLICENSED",
"dependencies": {
"@discordjs/voice": "^0.19.2",

View File

@@ -1,7 +1,7 @@
{
"name": "gvr-app",
"productName": "겜녹이",
"version": "1.4.1",
"version": "1.4.3",
"description": "겜녹이 (Game Voice Recorder) - 게임 연동 디스코드 음성 기록",
"private": true,
"main": "dist/main.cjs",

View File

@@ -177,6 +177,8 @@ export class Bot {
// 새 사람이 들어오면 안내를 다시 튼다
if (e.newChannelId === myCh && e.oldChannelId !== myCh && (!e.member.bot || process.env.GVR_RECORD_BOTS === '1')) {
this.touchUser(e.member);
// 녹음 중에 들어온 사람도 사이트가 이름을 알게 한다 (안 보내면 그 사람 발화가 "알 수 없음"으로 뜸)
this.bus.live({ type: 'users.updated', data: [] });
this.updateParticipants();
if (s.ttsEnabled && s.ttsOnNewMember) void this.announce();
}

View File

@@ -10,12 +10,44 @@ import { WorkerClient, WorkerError, type TranscribeResult } from './worker.js';
const log = logger('stt');
const HANGUL = /[가-힣]/;
/** 이 경기 상세에 나온 선수 이름 (양 팀 모두) */
export function matchPlayerNames(store: Store, matchId: string | null): string[] {
if (!matchId) return [];
const m = store.getMatch(matchId);
if (!m?.detail) return [];
try {
const det = JSON.parse(m.detail);
return (det.players || []).map((p: any) => (typeof p.name === 'string' ? p.name.trim() : '')).filter((n: string) => n && n !== '?');
} catch {
return [];
}
}
const normName = (s: string) => [...s.toLowerCase()].filter((ch) => /[\p{L}\p{N}]/u.test(ch)).join('');
/**
* 인식 결과가 선수 이름(또는 그 조각)뿐인가. 워커의 is_name_echo 와 같은 기준.
* 예: 이름 "QQQWWWQQQ" → "QQQWWWQ" 는 되풀이, "QQQ 잡았다" 는 아님.
*/
export function isNameEcho(text: string | null, names: string[]): boolean {
if (!text) return false;
const keys = names.map(normName).filter((k) => k.length >= 2);
const toks = text.split(/\s+/).map(normName).filter(Boolean);
if (!keys.length || !toks.length) return false;
const whole = toks.join('');
if (whole.length >= 2 && keys.some((k) => k.includes(whole))) return true;
return toks.every((t) => t.length >= 2 && keys.some((k) => k.includes(t)));
}
const NOISE_REASON: Record<string, string> = {
vad: '목소리 없음',
no_speech: '말소리 아님',
hallucination: '잡음에서 지어낸 문장',
repetition: '같은 말만 반복',
learned: '잡음으로 배운 문장',
name_echo: '선수 이름을 잘못 적음',
};
type Slot = 'realtime' | 'precise';
@@ -26,6 +58,8 @@ interface Job {
prio: number;
/** 예전 녹음 고친 뒤 다시 변환: 잡음으로 나오면 이전 결과를 지키고, 정밀 결과로만 덮는다 */
repair?: boolean;
/** 이미 정밀 모델로 변환한 발화도 다시 변환한다 (잡음으로 나오면 잡음으로 숨김) */
redo?: boolean;
}
export interface SttStatus {
@@ -161,16 +195,17 @@ export class SttPipeline {
resumePending(): void {
this.purgeOldNoise();
this.repairOldAudio();
this.recheckNameEchoes();
const rows = this.store.pendingUtterances();
if (rows.length) log.info(`미처리 발화 ${rows.length}개 다시 대기열에 넣음`);
for (const r of rows) this.enqueue(r.id, 'realtime', 5);
}
enqueue(id: string, slot: Slot, prio = slot === 'realtime' ? 1 : 10, repair = false): void {
enqueue(id: string, slot: Slot, prio = slot === 'realtime' ? 1 : 10, repair = false, redo = false): void {
const key = `${slot}:${id}`;
if (this.queued.has(key)) return;
this.queued.add(key);
this.queue.push({ id, slot, prio, ...(repair ? { repair } : {}) });
this.queue.push({ id, slot, prio, ...(repair ? { repair } : {}), ...(redo ? { redo } : {}) });
this.queue.sort((a, b) => a.prio - b.prio);
this.status.queue = this.queue.length;
this.pump();
@@ -228,22 +263,23 @@ export class SttPipeline {
});
}
/** 이 경기에 나온 요원·챔피언·선수 이름 → 핫워드 맨 앞 */
private matchWords(u: UtteranceRow): string[] {
if (!u.match_id) return [];
const m = this.store.getMatch(u.match_id);
if (!m?.detail) return [];
try {
const det = JSON.parse(m.detail);
const out: string[] = [];
for (const p of det.players || []) {
if (p.character?.name && p.character.name !== '?') out.push(p.character.name);
/**
* 이 경기에 나온 요원·챔피언·선수 이름 → 핫워드 맨 앞.
* 선수 이름은 한글이 들어간 것만 넣는다: "QQQWWWQQQ" 같은 영문 · 숫자 닉네임은 한국어 말로 나올 일이 거의 없고,
* 말을 못 알아들을 때 Whisper 가 그 이름을 그대로 적어 버린다 (v1.4.3).
*/
private matchWords(u: UtteranceRow): { words: string[]; players: string[] } {
const players = matchPlayerNames(this.store, u.match_id).filter((n) => HANGUL.test(n));
const words: string[] = [];
if (u.match_id) {
try {
const det = JSON.parse(this.store.getMatch(u.match_id)?.detail || '{}');
for (const p of det.players || []) if (p.character?.name && p.character.name !== '?') words.push(p.character.name);
} catch {
/* 경기 상세가 깨졌으면 요원 이름 없이 */
}
for (const p of det.players || []) if (p.name && p.name !== '?') out.push(p.name);
return out;
} catch {
return [];
}
return { words: [...words, ...players], players };
}
private dictContext(u: UtteranceRow): DictContext {
@@ -258,10 +294,11 @@ export class SttPipeline {
this.store.markUtteranceFailed(u.id);
return;
}
if (job.slot === 'precise' && (u.corrected || (u.status === 'precise' && !job.repair))) return;
if (job.slot === 'precise' && (u.corrected || (u.status === 'precise' && !job.repair && !job.redo))) return;
const s = this.settings();
const ctx = this.dictContext(u);
const user = this.store.getUser(u.user_id);
const mw = this.matchWords(u);
let r: TranscribeResult;
try {
r = await this.worker.request<TranscribeResult>(
@@ -269,7 +306,9 @@ export class SttPipeline {
{
slot,
path: u.audio_path,
hotwords: this.dict.hotwords(ctx, this.matchWords(u)),
hotwords: this.dict.hotwords(ctx, mw.words),
// 결과가 이 이름(조각)뿐이면 워커가 이름을 빼고 다시 변환한다
player_names: mw.players,
initial_prompt: null,
corrections: this.dict.corrections(),
dictionary: this.dict.candidates(ctx),
@@ -392,6 +431,49 @@ export class SttPipeline {
step();
}
/**
* 한 번만 (v1.4.3): 예전 버전이 선수 이름 핫워드를 그대로 적은 발화(예: 상대 닉네임 "QQQWWWQ")를 다시 본다.
* 음성 파일이 있으면 새 기준(한글 이름만 핫워드 · 이름 되풀이면 이름 없이 다시)으로 정밀 모델이 다시 변환하고,
* 파일이 지워졌으면 다시 들을 수 없으니 잡음으로 숨긴다. 사람이 고친 발화는 건드리지 않는다.
*/
private recheckNameEchoes(): void {
const KEY = 'name_echo_recheck_v143';
if (this.store.meta(KEY)) return;
const rows = this.store.db
.prepare(`SELECT rowid,* FROM utterances WHERE noise=0 AND corrected=0 AND match_id IS NOT NULL AND text IS NOT NULL ORDER BY started_at`)
.all() as UtteranceRow[];
const names = new Map<string, string[]>();
let redo = 0;
let hidden = 0;
for (const u of rows) {
if (!names.has(u.match_id!)) names.set(u.match_id!, matchPlayerNames(this.store, u.match_id));
if (!isNameEcho(u.text, names.get(u.match_id!)!)) continue;
if (u.audio_path && !u.audio_deleted && fs.existsSync(u.audio_path)) {
log.info(`선수 이름을 잘못 적은 발화 ${u.id} ("${u.text}") → 정밀 모델로 다시 변환`);
this.enqueue(u.id, 'precise', 20, false, true);
redo++;
} else {
log.info(`선수 이름을 잘못 적은 발화 ${u.id} ("${u.text}") → 음성 파일이 없어 숨김`);
this.store.updateUtteranceResult(u.id, {
text: null,
raw_text: u.raw_text,
words: [],
noise: true,
noise_reason: 'name_echo',
confidence: u.confidence,
lufs: u.lufs,
gain_db: u.gain_db,
model: u.model ?? '',
status: u.status === 'precise' ? 'precise' : 'realtime',
});
this.emit(u.id);
hidden++;
}
}
this.store.setMeta(KEY, String(Date.now()));
if (redo || hidden) log.info(`선수 이름을 잘못 적은 예전 발화: ${redo}개 다시 변환, ${hidden}개(음성 파일 없음) 숨김`);
}
/** v1.3.5 이하에서 잡음으로 판정된 발화의 남은 파일 정리 */
private purgeOldNoise(): void {
const rows = this.store.noiseWithAudio();

View File

@@ -296,6 +296,29 @@ test('users.updated: 보내는 쪽이 빈 목록을 줘도 실제 유저 목록
assert.equal(got[0].data[0].name, '하늘');
});
test('녹음 중에 들어온 사람: 유저로 저장하고 users.updated 를 보낸다 (중간 참여자 "알 수 없음" 버그)', async () => {
const { Bus } = await import('../src/core/util/events.ts');
const { Bot } = await import('../src/core/discord/bot.ts');
const store = new Store(path.join(tmp(), 'db.sqlite'));
const bus = new Bus();
bus.usersProvider = () => store.listUsers().map((u) => ({ id: u.id, name: u.name, color: u.color, avatar: u.avatar, excluded: false, riot: [] }));
const got: any[] = [];
bus.on('live', (e) => got.push(e));
const settings = () => ({ discord: { followEnabled: false, followUserId: null, ttsEnabled: false, ttsOnNewMember: false } }) as any;
const bot = new Bot(store, {} as any, {} as any, bus, settings);
const late = { id: '42', name: '늦게온사람', avatar: null, bot: false };
bot.gateway = { channelMembers: () => [late] } as any;
bot.state.guild = { id: 'g', name: 'g', icon: null };
bot.state.recording = { active: true, channel: '음성', channelId: 'vc', since: 1, participants: [], reason: 'command' };
await (bot as any).onVoiceState({ guildId: 'g', member: late, oldChannelId: null, newChannelId: 'vc', channel: { id: 'vc', name: '음성' } });
assert.equal(store.getUser('42')?.name, '늦게온사람');
const upd = got.filter((e) => e.type === 'users.updated');
assert.equal(upd.length, 1);
assert.ok(upd[0].data.some((u: any) => u.id === '42' && u.name === '늦게온사람'));
assert.deepEqual(bot.state.recording.participants, ['42']);
store.close();
});
test('녹음 안내 말 속도: 0.1~2.0 으로 자르고 속도마다 따로 캐시한다', async () => {
const { Announcer, clampRate } = await import('../src/core/discord/tts.ts');
assert.equal(clampRate(0.05), 0.1);

113
app/test/name-echo.test.ts Normal file
View File

@@ -0,0 +1,113 @@
// v1.4.3: 상대 닉네임("QQQWWWQQQ")을 핫워드로 넣었더니 말소리를 "QQQWWWQ" 로 적던 문제
import { test } from 'node:test';
import assert from 'node:assert/strict';
import { EventEmitter } from 'node:events';
import fs from 'node:fs';
import os from 'node:os';
import path from 'node:path';
import { Store } from '../src/core/db/db.ts';
import { Timeline } from '../src/core/timeline.ts';
import { Bus } from '../src/core/util/events.ts';
import { SttPipeline, isNameEcho } from '../src/core/stt/pipeline.ts';
const NAMES = ['QQQWWWQQQ', '노곤노곤탐방가', '하늘 별'];
test('선수 이름 되풀이 판정: 이름(조각)만 있으면 되풀이, 실제 말이 붙으면 아님 (워커 is_name_echo 와 같은 기준)', () => {
for (const t of ['QQQWWWQ', ' QQQWWWQ.', 'qqqwwwqqq', 'QQQWWWQ QQQWWWQ', '노곤노곤탐방가', '하늘 별']) assert.ok(isNameEcho(t, NAMES), t);
for (const t of ['QQQ 잡았다', '노곤노곤탐방가 죽였어', '아이고, 점프티... 아, 갔다.', 'Q', '', null]) assert.ok(!isNameEcho(t, NAMES), String(t));
assert.ok(!isNameEcho('QQQWWWQ', []));
});
function setup() {
const dir = fs.mkdtempSync(path.join(process.env.TMPDIR || os.tmpdir(), 'gvr-echo-'));
const store = new Store(path.join(dir, 'db.sqlite'));
store.upsertUser({ id: 'u1', name: '안정우', avatar: null });
const players = [
{ name: 'QQQWWWQQQ', character: { name: '제트' } },
{ name: '노곤노곤탐방가', character: { name: '레이즈' } },
{ name: 'Sky', character: { name: '세이지' } },
];
store.upsertMatch({ id: 'm1', game: 'valorant', started_at: Date.now() - 60000, status: 'ended', detail: JSON.stringify({ players }) });
const mk = (id: string, text: string | null) => {
const f = path.join(dir, 'audio', `${id}.ogg`);
fs.mkdirSync(path.dirname(f), { recursive: true });
fs.writeFileSync(f, Buffer.concat([Buffer.from('OggS'), Buffer.alloc(50)]));
store.insertUtterance({ id, session_id: null, user_id: 'u1', started_at: Date.now(), ended_at: Date.now() + 1000, audio_path: f, match_id: 'm1' });
if (text !== null)
store.updateUtteranceResult(id, { text, raw_text: text, words: [], noise: false, noise_reason: null, confidence: 0.4, lufs: -30, gain_db: 0, model: 'm', status: 'precise' });
return f;
};
const reqs: any[] = [];
const results: Record<string, any> = {};
const worker: any = Object.assign(new EventEmitter(), {
ready: true,
request: async (op: string, req: any) => {
if (op === 'gpu_info') return { gpus: [] };
if (op === 'models') return { models: [{ name: 'm', installed: true }] };
if (op === 'load') return {};
reqs.push(req);
const id = path.basename(req.path, '.ogg');
return { text: '말', raw_text: '말', words: [], noise: false, noise_reason: null, confidence: 0.5, lufs: -30, gain_db: 0, speech_ratio: 1, duration_s: 1, model: 'm', elapsed_ms: 1, ...results[id] };
},
});
const settings: any = () => ({ stt: { realtimeModel: 'm', preciseModel: 'm', device: 'cpu', computeType: 'int8', gameVramReserveMb: 0, reprocessAfterMatch: false }, audio: { targetLufs: -18, noiseSensitivity: 0.5, denoise: false } });
const dict: any = { hotwords: (_ctx: string, extra: string[] = []) => [...extra, '로테'].join(' '), corrections: () => [], candidates: () => [] };
const stt = new SttPipeline(worker, store, dict, new Timeline(store), new Bus(), settings);
const wait = async (fn: () => boolean) => {
const t = Date.now();
while (!fn()) {
if (Date.now() - t > 5000) throw new Error('timeout');
await new Promise((r) => setTimeout(r, 10));
}
};
return { store, stt, mk, reqs, results, wait };
}
test('핫워드: 선수 이름은 한글이 들어간 것만 넣고, 그 이름을 워커에 되풀이 확인용으로 넘긴다', async () => {
const s = setup();
await s.stt.load('realtime', 'm');
s.mk('a1', null);
s.stt.enqueue('a1', 'realtime');
await s.wait(() => s.store.getUtterance('a1')!.status !== 'pending');
const hw: string[] = s.reqs[0].hotwords.split(' ');
assert.ok(hw.includes('제트') && hw.includes('레이즈') && hw.includes('세이지'), '요원 이름은 그대로');
assert.ok(hw.includes('노곤노곤탐방가'));
assert.ok(!hw.includes('QQQWWWQQQ') && !hw.includes('Sky'), '한글 없는 닉네임은 핫워드에 넣지 않는다');
assert.deepEqual(s.reqs[0].player_names, ['노곤노곤탐방가']);
});
test('예전 발화 다시 보기 (한 번만): 이름을 잘못 적은 발화는 정밀 모델로 다시 변환, 음성 파일이 없으면 숨김, 고친 발화 · 실제 말은 그대로', async () => {
const s = setup();
const fRedo = s.mk('e1', 'QQQWWWQ');
s.mk('e2', 'QQQWWWQ');
s.store.markAudioDeleted('e2');
s.mk('e3', '아이고, 점프티... 아, 갔다.');
s.mk('e4', 'QQQWWWQ');
s.store.db.prepare('UPDATE utterances SET corrected=1 WHERE id=?').run('e4');
const fFixed = s.mk('e5', 'QQQWWWQ');
// e1: 다시 들어 보니 말소리가 아니었다 → 잡음으로 숨기고 파일 삭제. e5: 다시 들어 보니 실제 말
s.results.e1 = { text: null, raw_text: null, noise: true, noise_reason: 'vad' };
s.results.e5 = { text: '아 갔다', raw_text: '아 갔다' };
await s.stt.load('precise', 'm');
s.stt.resumePending();
await s.wait(() => s.reqs.length >= 2 && !s.stt.status.processing && s.stt.status.queue === 0);
assert.deepEqual(s.reqs.map((r) => path.basename(r.path, '.ogg')).sort(), ['e1', 'e5'], '정밀 모델로 이미 변환한 발화도 다시 변환');
assert.equal(s.reqs[0].slot, 'precise');
const e1 = s.store.getUtterance('e1')!;
assert.equal(e1.noise, 1);
assert.equal(e1.text, null);
assert.ok(!fs.existsSync(fRedo));
const e2 = s.store.getUtterance('e2')!;
assert.equal(e2.noise, 1);
assert.equal(e2.noise_reason, 'name_echo');
assert.equal(e2.text, null);
assert.equal(s.store.getUtterance('e3')!.text, '아이고, 점프티... 아, 갔다.');
assert.equal(s.store.getUtterance('e4')!.text, 'QQQWWWQ', '사람이 고친 발화는 그대로');
assert.equal(s.store.getUtterance('e5')!.text, '아 갔다');
assert.ok(fs.existsSync(fFixed));
// 두 번째 시작에서는 다시 보지 않는다
s.mk('e6', 'QQQWWWQ');
s.stt.resumePending();
await new Promise((r) => setTimeout(r, 50));
assert.equal(s.reqs.length, 2);
});

View File

@@ -251,3 +251,23 @@ VOICE E2E PASS
- 원인: v1.4.0 의 "거의 같은 문장"이 편집 거리 15% 였다. 배운 문장 `자막 제공 및 자막을 사용하였습니다`(15글자) 뒤에 `네` · `가자` · `아니`가 붙어도 거리 1~2 라 잡음으로 지워 실제 음성을 잃었다
- 고침: 글자 수가 같고(8글자 이상) 바뀐 글자가 15% 이하일 때만 (실제 엔진에서 본 "레이드 공" / "레이드 궁" 은 그대로 잡음). 글자가 붙거나 빠지면 다른 말
- 테스트 `utterance-delete.test.ts`: 앞뒤에 `네` · `가자` · `아니`를 붙인 문장은 비슷하지 않음, 음성 인식에서 그 발화들의 글 · 음성 파일이 남음 (v1.4.0 코드에서 실패 확인 뒤 고침)
- 배포: 사이트 서버 다시 배포 (바뀐 안내 문구 확인), Windows CI (df0c826, full) 7개 모두 PASS · 앱 버전 1.4.1 → Gitea 릴리스 v1.4.1 (v1.4.0 에 새 버전 안내). 실제 STT 워커 E2E 에서 "레이드 공/궁" 은 그대로 learned 잡음
## v1.4.2 — 녹음 중에 들어온 사람이 "알 수 없음"으로 뜨던 문제 (2026-10-16)
- 원인: 녹음 시작 때 채널에 있던 사람만 `users.updated` 를 보냈다. 녹음 중에 들어온 사람은 `onVoiceState` 에서 DB 에 저장만 하고 알리지 않아, 사이트의 유저 목록에 없어 발화가 "알 수 없음"으로 떴다 (새로고침하면 보임)
- 고침: 앱은 들어올 때 `users.updated` 를 보낸다. 사이트는 `utterance.created/updated` · `recording.state` 에 모르는 아이디가 오면 `/api/users` 를 한 번 다시 받는다 (같은 아이디는 한 번만)
- 테스트 `core.test.ts` "녹음 중에 들어온 사람": 고치기 전 코드에서 실패(users.updated 0번) 확인 뒤 통과
- 사이트(목 서버 `/mock/latejoin`, 브라우저): 고치기 전 화면은 새 발화 2곳이 "알 수 없음", 고친 화면은 이름이 바로 뜨고 왼쪽 유저 목록에도 추가
- 테스트: 앱 63 · 사이트 서버 16 통과, 앱 · 화면 · 서버 타입 검사 · 화면 빌드 통과
- 배포: 사이트 서버 다시 배포 (배포된 화면 번들 `index-Cbz_E9Kc.js` 에 모르는 아이디 다시 받기 확인), Windows CI (79d6bb2, full) 7개 모두 PASS · 앱 버전 1.4.2 → Gitea 릴리스 v1.4.2 (v1.4.1 에 새 버전 안내)
- 보완 (사이트만): 모르는 아이디를 받기 전에 영구히 기억해서 `/api/users` 가 한 번 실패하면 그 사람은 계속 "알 수 없음"이었다. `site/web/src/lib/unknown-users.ts` 로 빼서, 받는 중에는 또 부르지 않고 실패하면 다음 이벤트에서 다시 받는다 (성공한 아이디만 기억). 테스트 `site/server/test/unknown-users.test.ts` 2개. 목 서버 `/mock/users-fail?n=1` + `/mock/latejoin?again=1`: 고치기 전 화면은 요청 1번에 이름 없음, 고친 화면은 다음 발화에서 다시 받아 이름 표시
- 테스트: 앱 63 · 사이트 서버 18 통과, 앱 · 화면 · 서버 타입 검사 · 화면 빌드 통과. 앱 코드는 그대로라 v1.4.2 릴리스는 그대로
## v1.4.3 — 상대 닉네임을 말로 적던 문제 (2026-10-17)
- 증상: 사이트 대화에 "QQQWWWQ" 라는 말이 여러 사람 발화로 뜸. 같은 경기 상대 선수 이름이 "QQQWWWQQQ"
- 원인: `pipeline.ts` `matchWords` 가 그 경기 10명의 선수 이름을 핫워드 맨 앞에 넣었다. 말을 못 알아들으면 Whisper 가 핫워드를 그대로 적는데, 기존 되풀이 확인(`is_hotword_echo`)은 3단어 이상만 봐서 이름 하나(조각)는 지나갔다
- 고침: 선수 이름은 한글이 들어간 것만 핫워드로. 결과가 선수 이름(조각)뿐이면 워커가 이름을 빼고 다시 변환. 예전 발화는 한 번만 다시 변환(파일 없으면 숨김, 고친 발화 제외)
- 테스트: 워커 `test_hotword_echo.py` 이름 되풀이 3개, 앱 `name-echo.test.ts` 3개(판정 · 핫워드에 영문 닉네임 빠짐 · 예전 발화 다시 보기 한 번만)
- 실제 모델(faster-whisper small, CPU): 실제 말소리 · 키보드 · 잡음 파일에 영문 닉네임 핫워드를 넣어도 정상, 결과 전체를 선수 이름으로 준 경우 되풀이로 잡고 이름 없이 다시 변환해 실제 말을 돌려줌

View File

@@ -0,0 +1,51 @@
// 사이트 화면: 처음 보는 유저 아이디가 오면 유저 목록을 다시 받는 규칙 (site/web/src/lib/unknown-users.ts)
import { test } from 'node:test';
import assert from 'node:assert/strict';
import { makeUnknownUserCheck } from '../../web/src/lib/unknown-users.ts';
const tick = () => new Promise((r) => setTimeout(r, 0));
test('모르는 유저: 받는 중에는 또 부르지 않고, 실패하면 다음 이벤트에서 다시 받는다', async () => {
const known = new Set(['a']);
let calls = 0;
let fail = true;
let release!: () => void;
const check = makeUnknownUserCheck(() => {
calls++;
return new Promise<void>((ok, no) => {
release = () => (fail ? no(new Error('500')) : (known.add('late'), ok()));
});
});
const has = (id: string) => known.has(id);
check(['a'], has);
assert.equal(calls, 0, '아는 사람은 부르지 않음');
check(['late'], has);
check(['late'], has);
assert.equal(calls, 1, '받는 중에는 한 번만');
release(); // 500
await tick();
check(['late'], has);
assert.equal(calls, 2, '실패 뒤 다음 발화에서 다시 받음');
fail = false;
release();
await tick();
assert.ok(known.has('late'));
check(['late'], has);
assert.equal(calls, 2, '받은 뒤에는 부르지 않음');
});
test('모르는 유저: 받았는데도 목록에 없는 아이디는 발화마다 다시 부르지 않는다', async () => {
let calls = 0;
const check = makeUnknownUserCheck(async () => {
calls++;
});
const has = () => false;
check(['ghost'], has);
await tick();
check(['ghost'], has);
check(['ghost', ''], has);
assert.equal(calls, 1);
check(['other'], has);
assert.equal(calls, 2, '다른 새 아이디는 다시 받음');
});

View File

@@ -6,6 +6,8 @@
// GET /mock/device?registered=0|1 등록 안 된 상태 흉내
// GET /mock/live?on=0|1 주기적 가짜 실시간 발화 켜기/끄기
// GET /mock/emit 가짜 실시간 발화 하나 즉시 만들기
// GET /mock/latejoin 녹음 중에 새 사람이 들어와 말함 (v1.4.1 이하 앱처럼 users.updated 없이 발화만 보냄). ?again=1 이면 마지막에 들어온 사람이 또 말함
// GET /mock/users-fail?n=1 다음 n 번 /api/users 를 500 으로 실패
// GET /auth/discord?as=notmember 길드 멤버가 아닌 계정으로 로그인 흉내 (403 not_member)
import http from 'node:http';
import fs from 'node:fs';
@@ -166,6 +168,18 @@ async function handle(req, res) {
return json(res, 200, { live: state.live });
}
if (p === '/mock/emit') return json(res, 200, emitLive() ?? { error: 'device_offline' });
if (p === '/mock/users-fail') {
state.usersFail = Number(q.get('n') ?? 1);
return json(res, 200, { usersFail: state.usersFail });
}
if (p === '/mock/latejoin') {
const n = db.users.length;
const u = q.get('again') === '1' ? db.users[n - 1] : { id: `41000000000000${String(n).padStart(4, '0')}`, name: `늦게온사람${n}`, color: '#d4537e', avatar: null, excluded: false, riot: [] };
if (q.get('again') !== '1') db.users.push(u);
const it = db.addLiveUtterance(u, '나 지금 들어왔어');
broadcast({ type: 'utterance.created', data: it });
return json(res, 200, { user: u, utterance: it.id });
}
// 게임 이미지 (목: docs/report/mock/assets)
if (p.startsWith('/game-assets/mock/')) {
@@ -234,7 +248,13 @@ async function handle(req, res) {
version: '1.0.0',
});
}
if (p === '/api/users') return json(res, 200, db.users);
if (p === '/api/users') {
if (state.usersFail > 0) {
state.usersFail--;
return json(res, 500, { error: 'mock_fail' });
}
return json(res, 200, db.users);
}
let m;
if ((m = p.match(/^\/api\/users\/([^/]+)$/))) {
const prof = userProfile(decodeURIComponent(m[1]));

View File

@@ -0,0 +1,24 @@
/**
* 처음 보는 유저 아이디가 오면 유저 목록을 다시 받아 온다 (v1.4.1 이하 앱은 녹음 중에 들어온 사람을 알려 주지 않아 "알 수 없음"으로 뜸).
* - 받는 중에는 또 부르지 않는다
* - 받기에 성공한 아이디는 다시 묻지 않는다 (목록에 없어도 매 발화마다 부르지 않게)
* - 실패하면 기억하지 않아 다음 이벤트에서 다시 받는다
*/
export function makeUnknownUserCheck(load: () => Promise<unknown>) {
const done = new Set<string>();
let busy = false;
return (ids: string[], known: (id: string) => boolean): void => {
if (busy) return;
const fresh = ids.filter((id) => id && !known(id) && !done.has(id));
if (!fresh.length) return;
busy = true;
load()
.then(
() => fresh.forEach((id) => done.add(id)),
() => {},
)
.finally(() => {
busy = false;
});
};
}

View File

@@ -2,6 +2,7 @@ import { createContext, useCallback, useContext, useEffect, useMemo, useRef, use
import type { DeviceStatus, LiveEvent, Overview, User } from '@gvr/shared';
import { api, onApiSignal, type Me } from '../lib/api';
import { live, type LiveConn } from '../lib/live';
import { makeUnknownUserCheck } from '../lib/unknown-users';
// ── 로그인 ───────────────────────────────────────────
type AuthState = { status: 'loading' } | { status: 'anon' } | { status: 'not_member' } | { status: 'ok'; me: Me };
@@ -139,21 +140,28 @@ export function DataProvider({ children }: { children: ReactNode }) {
alive = false;
};
}, [epoch, locked]);
const fetchUsers = useCallback(() => api.users().then((users) => setOverview((o) => (o ? { ...o, users } : o))), []);
const reloadUsers = useCallback(() => void fetchUsers().catch(() => {}), [fetchUsers]);
const users = overview?.users ?? [];
const map = useMemo(() => new Map(users.map((u) => [u.id, u])), [users]);
// 처음 보는 사람 아이디가 오면 유저 목록을 다시 받아 온다 (실패하면 다음 이벤트에서 다시)
const unknownCheck = useRef(makeUnknownUserCheck(fetchUsers));
const checkUnknown = (ids: string[]) => {
if (overview) unknownCheck.current(ids, (id) => map.has(id));
};
useLive((e) => {
if (e.type === 'users.updated') {
// v1.3.5 이하 앱은 빈 목록을 보낸다: 그대로 쓰면 모든 발화가 "알 수 없음"이 되니 다시 받아 온다
if (e.data.length) setOverview((o) => (o ? { ...o, users: e.data } : o));
else
api
.users()
.then((users) => setOverview((o) => (o ? { ...o, users } : o)))
.catch(() => {});
else reloadUsers();
}
if (e.type === 'recording.state') setOverview((o) => (o ? { ...o, recording: e.data } : o));
if (e.type === 'recording.state') {
setOverview((o) => (o ? { ...o, recording: e.data } : o));
checkUnknown(e.data.participants);
}
if (e.type === 'utterance.created' || e.type === 'utterance.updated') checkUnknown([e.data.userId]);
if (e.type === 'games.state') setOverview((o) => (o ? { ...o, live: e.data } : o));
});
const users = overview?.users ?? [];
const map = useMemo(() => new Map(users.map((u) => [u.id, u])), [users]);
const userById = useCallback((id: string | undefined | null) => (id ? map.get(id) : undefined), [map]);
return <DataCtx.Provider value={{ overview, users, userById }}>{children}</DataCtx.Provider>;
}

View File

@@ -176,10 +176,17 @@ class SttEngine:
segs = run(hotwords)
# 핫워드 되풀이 방지: Whisper 가 말을 못 알아들으면 프롬프트(핫워드 목록)를 그대로 읽어 버리는 경우가 있다.
# 결과가 핫워드로만 채워져 있으면 핫워드 없이 한 번 더 돌려 그 결과를 쓴다.
names = [n for n in (req.get("player_names") or []) if isinstance(n, str) and n.strip()]
if hotwords and is_hotword_echo("".join(x.text for x in segs), hotwords):
log.info("핫워드 되풀이 감지 → 핫워드 없이 다시 변환")
segs = run(None)
result["hotword_retry"] = True
elif names and is_name_echo("".join(x.text for x in segs), names):
# 말을 못 알아들으면 핫워드에 넣은 선수 이름(상대 닉네임 등)을 그대로 적는 경우가 있다 (예: "QQQWWWQ").
# 결과가 선수 이름(또는 그 조각)뿐이면 선수 이름을 빼고 다시 변환한다. 정말 이름을 말했으면 다시 해도 그 이름이 나온다.
log.info("선수 이름 되풀이 감지 → 선수 이름 없이 다시 변환")
segs = run(_without_names(hotwords, names))
result["name_retry"] = True
words: list[dict[str, Any]] = []
for seg in segs:
@@ -214,6 +221,36 @@ class SttEngine:
return done()
def _norm_name(s: str) -> str:
"""대소문자 · 띄어쓰기 · 문장부호를 무시한 비교용 글자."""
return "".join(ch for ch in s.lower() if ch.isalnum())
def is_name_echo(text: str, names: list[str]) -> bool:
"""결과 문장이 선수 이름(또는 이름 조각)만으로 되어 있는지.
문장 전체(띄어쓰기 무시) 또는 모든 단어가 2글자 이상이면서 어떤 선수 이름 안에 그대로 들어 있어야 한다.
예: 이름 "QQQWWWQQQ" → "QQQWWWQ", "QQQWWWQ QQQWWWQ" 는 되풀이, "QQQ 잡았다" 는 아님.
"""
keys = [k for k in (_norm_name(n) for n in names) if len(k) >= 2]
toks = [_norm_name(t) for t in text.split()]
toks = [t for t in toks if t]
if not keys or not toks:
return False
whole = "".join(toks)
if len(whole) >= 2 and any(whole in k for k in keys):
return True
return all(len(t) >= 2 and any(t in k for k in keys) for t in toks)
def _without_names(hotwords: str | None, names: list[str]) -> str | None:
if not hotwords:
return None
drop = {w for n in names for w in n.split()}
rest = " ".join(h for h in hotwords.split() if h not in drop)
return rest or None
def is_hotword_echo(text: str, hotwords: str) -> bool:
"""결과 문장이 핫워드 목록을 되풀이한 것인지.

View File

@@ -15,3 +15,33 @@ def test_normal_sentence_with_some_hotwords_is_kept():
assert not is_hotword_echo("드래곤 가자 바텀으로 모여", HW)
assert not is_hotword_echo("바론 치자 시야 잡아줘", HW)
assert not is_hotword_echo("포탑 밀자", HW)
# 선수 이름 되풀이 (v1.4.3): 상대 닉네임 "QQQWWWQQQ" 를 핫워드로 넣었더니 말소리를 "QQQWWWQ" 로 적었다
from gvr_worker.stt import _without_names, is_name_echo # noqa: E402
NAMES = ["QQQWWWQQQ", "노곤노곤탐방가", "하늘 별"]
def test_name_echo_detected_for_name_or_fragment():
assert is_name_echo("QQQWWWQ", NAMES)
assert is_name_echo(" QQQWWWQ.", NAMES)
assert is_name_echo("qqqwwwqqq", NAMES)
assert is_name_echo("QQQWWWQ QQQWWWQ", NAMES)
assert is_name_echo("노곤노곤탐방가", NAMES)
assert is_name_echo("하늘 별", NAMES)
def test_name_echo_not_for_real_speech():
assert not is_name_echo("QQQ 잡았다", NAMES)
assert not is_name_echo("노곤노곤탐방가 죽였어", NAMES)
assert not is_name_echo("아이고, 점프티... 아, 갔다.", NAMES)
assert not is_name_echo("Q", NAMES)
assert not is_name_echo("", NAMES)
assert not is_name_echo("QQQWWWQ", [])
def test_without_names_keeps_other_hotwords():
assert _without_names("제트 레이즈 QQQWWWQQQ 하늘 별 로테", NAMES) == "제트 레이즈 로테"
assert _without_names("QQQWWWQQQ", NAMES) is None
assert _without_names(None, NAMES) is None