210 lines
12 KiB
TypeScript
210 lines
12 KiB
TypeScript
import { test } from 'node:test';
|
|
import assert from 'node:assert/strict';
|
|
import { EventEmitter } from 'node:events';
|
|
import fs from 'node:fs';
|
|
import os from 'node:os';
|
|
import path from 'node:path';
|
|
import { Store, normalizePhrase, similarPhrase } from '../src/core/db/db.ts';
|
|
import { buildApi } from '../src/core/api/server.ts';
|
|
import { Timeline } from '../src/core/timeline.ts';
|
|
import { Bus } from '../src/core/util/events.ts';
|
|
import { SttPipeline } from '../src/core/stt/pipeline.ts';
|
|
|
|
const tmp = () => fs.mkdtempSync(path.join(process.env.TMPDIR || os.tmpdir(), 'gvr-del-'));
|
|
const as = (id: string, role: 'admin' | 'member' = 'member') => ({ 'x-gvr-user': encodeURIComponent(JSON.stringify({ id, name: id, avatar: null })), 'x-gvr-role': role });
|
|
|
|
function setup() {
|
|
const dir = tmp();
|
|
const store = new Store(path.join(dir, 'db.sqlite'));
|
|
const timeline = new Timeline(store);
|
|
const bus = new Bus();
|
|
const live: any[] = [];
|
|
bus.on('live', (e) => live.push(e));
|
|
store.upsertUser({ id: 'u1', name: '하늘', avatar: null });
|
|
const mk = (id: string, raw: string | null, text: string | null = raw) => {
|
|
const f = path.join(dir, 'audio', `${id}.ogg`);
|
|
fs.mkdirSync(path.dirname(f), { recursive: true });
|
|
fs.writeFileSync(f, Buffer.concat([Buffer.from('OggS'), Buffer.alloc(50)]));
|
|
store.insertUtterance({ id, session_id: null, user_id: 'u1', started_at: Date.now(), ended_at: Date.now() + 1000, audio_path: f, match_id: null });
|
|
if (raw !== null || text !== null)
|
|
store.updateUtteranceResult(id, { text, raw_text: raw, words: [], noise: false, noise_reason: null, confidence: 0.4, lufs: -30, gain_db: 0, model: 'm', status: 'precise' });
|
|
return f;
|
|
};
|
|
return { dir, store, timeline, bus, live, mk };
|
|
}
|
|
|
|
const api = (s: ReturnType<typeof setup>) =>
|
|
buildApi({
|
|
store: s.store,
|
|
timeline: s.timeline,
|
|
games: {} as any,
|
|
dict: { learn() {}, invalidate() {} } as any,
|
|
culprit: {} as any,
|
|
bus: s.bus,
|
|
settings: () => ({ dictionary: { applySiteCorrections: false } }) as any,
|
|
trainingDir: () => path.join(s.dir, 'training'),
|
|
overviewExtra: () => ({ guild: null, recording: {} as any }),
|
|
version: 'test',
|
|
});
|
|
|
|
test('잡음 문장 비교: 띄어쓰기 · 문장부호 · 대소문자를 무시한다 (워커 noise.normalize 와 같게)', () => {
|
|
assert.equal(normalizePhrase('자막 제공 및 자막을 사용하였습니다.'), '자막제공및자막을사용하였습니다');
|
|
assert.equal(normalizePhrase(' 자막제공, 및 자막을...사용하였습니다!! '), '자막제공및자막을사용하였습니다');
|
|
assert.equal(normalizePhrase('MBC 뉴스_이덕영입니다'), 'mbc뉴스이덕영입니다');
|
|
assert.equal(normalizePhrase('ㅋㅋㅋ'), 'ㅋㅋㅋ');
|
|
assert.equal(normalizePhrase('... !!'), '');
|
|
assert.equal(normalizePhrase(null), '');
|
|
});
|
|
|
|
test('거의 같은 문장: 글자 수가 같고(8글자 이상) 15% 이하 글자만 바뀐 것, 짧은 말은 통째로 같을 때만', () => {
|
|
const n = normalizePhrase;
|
|
assert.ok(similarPhrase(n('레이드 공 빠졌어 비 사이트로테 하자'), n('레이드 궁 빠졌어 비 사이트로테 하자')));
|
|
assert.ok(similarPhrase(n('자막 제공 및 자막을 사용하였습니다'), n('자막 재공 및 자막을 사용하였습니다')));
|
|
// 배운 잡음 문장 앞뒤에 실제 말이 붙으면 다른 말이다 (지우면 실제 음성을 잃는다)
|
|
for (const real of ['네', '가자', '아니']) {
|
|
assert.ok(!similarPhrase(n('자막 제공 및 자막을 사용하였습니다'), n(`자막 제공 및 자막을 사용하였습니다 ${real}`)), `뒤에 "${real}"`);
|
|
assert.ok(!similarPhrase(n('자막 제공 및 자막을 사용하였습니다'), n(`${real} 자막 제공 및 자막을 사용하였습니다`)), `앞에 "${real}"`);
|
|
}
|
|
assert.ok(!similarPhrase(n('자막 제공 및 자막을 사용하였습니다'), n('자막 제공 및 자막을 사용했습니다')), '글자 수가 다르면 아니다');
|
|
assert.ok(!similarPhrase(n('자막 제공 및 자막을 사용하였습니다'), n('자막 제공 및 자막을 사용하였습니다 그리고 레이즈 궁')));
|
|
assert.ok(!similarPhrase(n('시청해 주셔서'), n('시청해 주셨어')), '8글자 미만은 거의 같아도 아니다');
|
|
assert.ok(!similarPhrase(n('오늘 저녁 뭐 먹을래'), n('내일 아침 뭐 먹을래')));
|
|
});
|
|
|
|
test('발화 지우기: 관리자 · 말한 사람만, 글 · 음성 · 학습 데이터를 지우고 실시간으로 알린다', async () => {
|
|
const s = setup();
|
|
const app = await api(s);
|
|
const f1 = s.mk('a1', '그냥 말');
|
|
// 교정해서 학습 데이터가 생긴 발화
|
|
s.mk('a2', '레이저 궁', '레이저 궁');
|
|
const patched = await app.inject({ method: 'PATCH', url: '/api/utterances/a2', payload: { text: '레이즈 궁' } });
|
|
assert.equal(patched.statusCode, 200);
|
|
const sample = s.store.trainingSamples()[0].audio_path;
|
|
assert.ok(fs.existsSync(sample));
|
|
s.mk('a3', '아무 말');
|
|
|
|
// 다른 멤버는 못 지운다 (사이트 서버가 붙인 역할 · 유저로 판단)
|
|
const no = await app.inject({ method: 'POST', url: '/api/utterances/a1/delete', headers: as('m9'), payload: { noise: false } });
|
|
assert.equal(no.statusCode, 403);
|
|
assert.ok(s.store.getUtterance('a1'));
|
|
// 말한 사람 본인
|
|
const r1 = await app.inject({ method: 'POST', url: '/api/utterances/a1/delete', headers: as('u1'), payload: { noise: false } });
|
|
assert.equal(r1.statusCode, 200);
|
|
assert.deepEqual(r1.json(), { ok: true, learned: null });
|
|
assert.equal(s.store.getUtterance('a1'), undefined);
|
|
assert.ok(!fs.existsSync(f1));
|
|
assert.deepEqual(s.live.at(-1), { type: 'utterance.deleted', data: { id: 'a1', noise: false } });
|
|
// "그냥 삭제"는 아무것도 배우지 않는다
|
|
assert.equal(s.store.listNoisePhrases().length, 0);
|
|
// 관리자: 교정 학습 데이터(음성 조각)도 같이 지운다
|
|
const r2 = await app.inject({ method: 'POST', url: '/api/utterances/a2/delete', headers: as('m9', 'admin'), payload: {} });
|
|
assert.equal(r2.statusCode, 200);
|
|
assert.equal(s.store.trainingSamples().length, 0);
|
|
assert.ok(!fs.existsSync(sample));
|
|
// 이 PC 안에서 부른 것 (설정 창)
|
|
assert.equal((await app.inject({ method: 'POST', url: '/api/utterances/a3/delete', payload: {} })).statusCode, 200);
|
|
// 이미 지운 발화
|
|
assert.equal((await app.inject({ method: 'POST', url: '/api/utterances/a3/delete', payload: {} })).statusCode, 404);
|
|
// 타임라인에서 빠진다
|
|
assert.equal((await app.inject({ url: '/api/timeline' })).json().items.length, 0);
|
|
// 잘못된 사용자 머리글은 거절
|
|
s.mk('a4', '말');
|
|
assert.equal((await app.inject({ method: 'POST', url: '/api/utterances/a4/delete', headers: { 'x-gvr-user': '%E0%A4%A' }, payload: {} })).statusCode, 403);
|
|
await app.close();
|
|
});
|
|
|
|
test('잡음이라 삭제: 인식 문장을 배우고, 목록 · 지우기 API 로 볼 수 있다', async () => {
|
|
const s = setup();
|
|
const app = await api(s);
|
|
s.mk('n1', '자막 제공 및 자막을 사용하였습니다.');
|
|
s.mk('n2', null); // 아직 인식 전: 배울 문장 없음
|
|
const r = await app.inject({ method: 'POST', url: '/api/utterances/n1/delete', headers: as('u1'), payload: { noise: true } });
|
|
assert.deepEqual(r.json(), { ok: true, learned: '자막 제공 및 자막을 사용하였습니다.' });
|
|
assert.deepEqual(s.live.at(-1), { type: 'utterance.deleted', data: { id: 'n1', noise: true } });
|
|
const r2 = await app.inject({ method: 'POST', url: '/api/utterances/n2/delete', headers: as('u1'), payload: { noise: true } });
|
|
assert.deepEqual(r2.json(), { ok: true, learned: null });
|
|
const list = (await app.inject({ url: '/api/noise-phrases' })).json().phrases;
|
|
assert.equal(list.length, 1);
|
|
assert.equal(list[0].text, '자막 제공 및 자막을 사용하였습니다.');
|
|
assert.equal(list[0].hits, 0);
|
|
assert.equal(s.store.listNoisePhrases()[0].phrase, '자막제공및자막을사용하였습니다');
|
|
// 같은 문장을 또 배우면 하나로
|
|
s.mk('n3', '자막제공 및 자막을 사용하였습니다');
|
|
await app.inject({ method: 'POST', url: '/api/utterances/n3/delete', payload: { noise: true } });
|
|
assert.equal(s.store.listNoisePhrases().length, 1);
|
|
assert.equal((await app.inject({ method: 'DELETE', url: `/api/noise-phrases/${list[0].id}` })).statusCode, 200);
|
|
assert.equal((await app.inject({ method: 'DELETE', url: `/api/noise-phrases/${list[0].id}` })).statusCode, 404);
|
|
assert.equal(s.store.listNoisePhrases().length, 0);
|
|
await app.close();
|
|
});
|
|
|
|
test('음성 인식: 배운 잡음 문장과 같으면 잡음으로 숨기고 파일을 지운다 · 변환 중에 지운 발화는 결과를 버린다', async () => {
|
|
const s = setup();
|
|
s.store.addNoisePhrase(normalizePhrase('자막 제공 및 자막을 사용하였습니다.'), '자막 제공 및 자막을 사용하였습니다.');
|
|
const results: Record<string, string> = { p1: '자막 재공 및 자막을 사용하였습니다', p2: '자막 제공 및 자막을 사용하였습니다. 그리고 레이즈 궁', p3: '아무 말' };
|
|
let hold: (() => void) | null = null;
|
|
const worker: any = Object.assign(new EventEmitter(), {
|
|
ready: true,
|
|
request: async (op: string, req: any) => {
|
|
if (op === 'gpu_info') return { gpus: [] };
|
|
if (op === 'models') return { models: [{ name: 'm', installed: true }] };
|
|
if (op === 'load') return {};
|
|
const id = path.basename(req.path, '.ogg');
|
|
if (id === 'p3') await new Promise<void>((r) => (hold = r));
|
|
const t = results[id];
|
|
return { text: t, raw_text: t, words: [], noise: false, noise_reason: null, confidence: 0.5, lufs: -30, gain_db: 0, speech_ratio: 1, duration_s: 1, model: 'm', elapsed_ms: 1 };
|
|
},
|
|
});
|
|
const settings: any = () => ({ stt: { realtimeModel: 'm', preciseModel: 'm', device: 'cpu', computeType: 'int8', gameVramReserveMb: 0, reprocessAfterMatch: false }, audio: { targetLufs: -18, noiseSensitivity: 0.5, denoise: false } });
|
|
const dict: any = { hotwords: () => '', corrections: () => [], candidates: () => [] };
|
|
const stt = new SttPipeline(worker, s.store, dict, s.timeline, s.bus, settings);
|
|
await stt.load('realtime', 'm');
|
|
const f1 = s.mk('p1', null);
|
|
const f2 = s.mk('p2', null);
|
|
const f3 = s.mk('p3', null);
|
|
const wait = async (fn: () => boolean) => {
|
|
const t = Date.now();
|
|
while (!fn()) {
|
|
if (Date.now() - t > 5000) throw new Error('timeout');
|
|
await new Promise((r) => setTimeout(r, 10));
|
|
}
|
|
};
|
|
stt.enqueue('p1', 'realtime');
|
|
stt.enqueue('p2', 'realtime');
|
|
await wait(() => s.store.getUtterance('p2')!.status !== 'pending');
|
|
const p1 = s.store.getUtterance('p1')!;
|
|
assert.equal(p1.noise, 1);
|
|
assert.equal(p1.noise_reason, 'learned');
|
|
assert.equal(p1.text, null);
|
|
assert.equal(p1.audio_deleted, 1);
|
|
assert.ok(!fs.existsSync(f1));
|
|
assert.equal(s.store.listNoisePhrases()[0].hits, 1, '한두 글자 다른 문장도 거른다');
|
|
// 문장이 더 붙으면 다른 말이다: 음성 · 글을 그대로 둔다
|
|
const p2 = s.store.getUtterance('p2')!;
|
|
assert.equal(p2.noise, 0);
|
|
assert.ok(fs.existsSync(f2));
|
|
for (const [i, real] of ['네', '가자', '아니'].entries()) {
|
|
const id = `r${i}`;
|
|
results[id] = `자막 제공 및 자막을 사용하였습니다. ${real}`;
|
|
const f = s.mk(id, null);
|
|
stt.enqueue(id, 'realtime');
|
|
await wait(() => s.store.getUtterance(id)!.status !== 'pending');
|
|
const u = s.store.getUtterance(id)!;
|
|
assert.equal(u.noise, 0, `뒤에 "${real}" 이 붙은 발화는 잡음이 아니다`);
|
|
assert.equal(u.text, results[id]);
|
|
assert.ok(fs.existsSync(f), `뒤에 "${real}" 이 붙은 발화의 음성은 남는다`);
|
|
}
|
|
assert.equal(s.store.listNoisePhrases()[0].hits, 1);
|
|
// 변환하는 동안 지우면 결과를 DB 에 되살리지 않는다
|
|
stt.enqueue('p3', 'realtime');
|
|
await wait(() => !!hold);
|
|
s.store.deleteUtterance('p3');
|
|
const gainN = s.store.getUser('u1')!.gain_n;
|
|
hold!();
|
|
await wait(() => !stt.isBusy('p3'));
|
|
assert.equal(s.store.getUser('u1')!.gain_n, gainN, '지운 발화의 음량은 평소 음량에 넣지 않는다');
|
|
assert.equal(s.store.getUtterance('p3'), undefined);
|
|
assert.ok(!s.live.some((e) => e.type === 'utterance.updated' && e.data.id === 'p3'));
|
|
assert.ok(fs.existsSync(f3), 'store.deleteUtterance 는 파일을 직접 지우지 않는다 (API 가 지움)');
|
|
});
|