앱 v1.3.0: 범인찾기 실제 E2E (Claude Opus 5.5 high + OP.GG) · README · 테스트 기록

- app/scripts/culprit-real-e2e.mts: 실제 앱 코어 → 사이트 서버 → 실제 Claude API · 실제 OP.GG MCP → 결과 화면
  발로란트 시연 경기 42초 $0.146 (OP.GG 없음 → 기록 점수), 롤 실제 랭크 경기 36초 $0.109 (OP.GG 10명 찾음)
- 버전 1.3.0

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
EJClaw
2026-10-15 15:40:43 +09:00
parent dc546951b5
commit be893173a1
5 changed files with 240 additions and 6 deletions

View File

@@ -37,13 +37,18 @@
- 사이트 서버: 보안 정책(CSP)으로 이 사이트 스크립트와 이 사이트로의 접속만 허용, 실시간 WebSocket 은 이 사이트에서 온 연결만, 로그인 세션 · 앱 토큰 · 기기 키는 해시로만 저장, 로그에서 로그인 code · state · 검색어를 지운다. 등록 코드 대입 · 로그인 요청 폭주는 IP 별로 막는다. HSTS · http→https 이동 · TLS 1.2 미만 차단은 앞단 프록시(NPMplus)가 한다.
- 디스코드 음성은 디스코드 자체 암호화(DAVE 종단간 암호화)로 간다.
## 🔍 범인찾기 (개발 중, 다음 버전)
## 🔍 범인찾기 (v1.3.0~)
끝난 경기를 고르고 "범인 분석"을 누르면 AI(Claude)가 그 경기의 음성 대화 · 킬 · 라운드/오브젝트 · 경제 · 채팅 · 10명 스탯을 읽고 10명 평점 · 태그 · 한 줄 평과 팀별 범인 1명(이유 + 근거)을 만든다. 근거를 누르면 그 순간의 음성 · 타임라인으로 간다. 계획서: [`docs/culprit-finder-plan.pdf`](docs/culprit-finder-plan.pdf)
- 정한 것 (2026-10-15): 범인 = 가장 못함 + 가장 발목 + 결과의 원인을 종합해 팀마다 1명 · 분석 버튼은 등록된 앱 유저 이상(다시 분석은 관리자) · Claude Opus 5.5(생각 high) · 말투 중간맛 · 녹음 안내(TTS)에 "녹음된 대화는 AI 경기 분석에 쓰일 수 있어요" 추가
- 리플레이 동기화: 공식 · 비공식 API 로 리플레이 시간을 읽을 수 있을 때만 넣는다 (화면 글자 인식(OCR) · 게임 설정 파일 고치기는 하지 않음). Windows 실기 확인 전이라 아직 없다
- 앱: 경기 상세에서 추가 지표 저장(발로란트 피해량 · 첫킬 · 설치/해체 · 라운드별 장비, 롤 포지션 · 딜량 · 시야 · 10/15분 CS), "분석할 수 있는 경기" 판정(경기 결과 · 녹음 공백 1분 · 음성 변환), 근거 번호가 달린 AI 자료 만들기, 결과 저장(`culprit_analyses`). `app/src/core/culprit.ts`
- **전적 사이트 점수 참고**: 평점과 범인은 전적 사이트 점수에서 출발해 승부처 · 역할 · 경제 · 음성 소통으로 더하고 뺀다 (지시문 v1.2)
- **기록 점수** (0~10, 모든 경기): OP.GG OP스코어를 우리 기록으로 다시 계산한 점수 + 경기/팀 순위 + MVP · ACE + 점수를 올리고 깎은 지표. 발로란트는 OP.GG 가 밝힌 입력(라운드 승률 · KAST · ACS · 피해 격차), 롤은 킬 관여 · 데스 · 딜/받은 피해/골드 비중 · CS · 레벨 · CC · 와드. 계수는 OP.GG 공식 MCP 로 받은 실제 경기의 OP스코어에 맞췄다 (교차 검증: 발로란트 상관 0.97 · 평균 오차 0.49점, 롤 상관 0.94 · 0.60점 · 팀 최하위 일치 85%). `packages/shared/src/rating.ts`, 맞추는 도구 `tools/opscore-fit/`
- **OP.GG 실제 OP스코어**: 분석할 때 OP.GG 공식 MCP(`mcp-api.op.gg`)에서 그 경기를 찾으면 그 사이트의 실제 점수를 같이 준다 (롤: 시작 시각 · 길이로 찾고 10명, 발로란트: 경기 번호로 선수마다). 내전(사용자 설정 게임)은 OP.GG 에 없어 기록 점수만 쓴다. `site/server/src/opgg.ts`, 끄기 `CULPRIT_OPGG=0`
- **LOL.PS 라인전**: 롤 15분에 맞라인 상대와 CS · 골드 · 경험치 차
- 실제 E2E (2026-10-15, `app/scripts/culprit-real-e2e.mts`): 실제 Claude Opus 5.5(생각 high) + 실제 OP.GG. 발로란트 시연 경기 42초 · $0.15, 롤 실제 랭크 경기(OP.GG 점수 10명 찾음) 36초 · $0.11. 기록 · [`docs/dev/test-results.md`](docs/dev/test-results.md)
- 리플레이 동기화: 공식 · 비공식 API 로 리플레이 시간을 읽을 수 있을 때만 넣는다 (화면 글자 인식(OCR) · 게임 설정 파일 고치기는 하지 않음). Windows 실기 확인 전이라 v1.3.0 에는 없다
- 앱: 경기 상세에서 추가 지표 저장(발로란트 피해량 · 받은 피해 · KAST · 첫킬 · 설치/해체 · 라운드별 장비, 롤 포지션 · 딜량 · 시야 · 10/15분 CS), "분석할 수 있는 경기" 판정(경기 결과 · 녹음 공백 1분 · 음성 변환), 근거 번호가 달린 AI 자료 만들기, 결과 저장(`culprit_analyses`). `app/src/core/culprit.ts`
- 사이트 서버: Claude API 키는 서버 환경 변수 `ANTHROPIC_API_KEY` 에만 (`deploy/site/set-anthropic-key.sh`). 권한 · 월 $100 · 하루 20회 · 중복 잠금, 구조화 출력, 근거 번호 확인, 비용 장부(토큰 · 비용만, 대화 내용 없음). `site/server/src/culprit.ts`, 지시문 · 지식 묶음 `site/server/prompt/` (지식 묶음의 요원 · 챔피언 목록은 공식 데이터로 하루 한 번 갱신)
- 화면: 사이트 🔍 범인찾기 탭 (`site/web/src/pages/CulpritPage.tsx`), 경기 화면의 "🔍 범인 보기". 화면 확인: `node --import tsx app/scripts/culprit-shots.mts`

4
app/package-lock.json generated
View File

@@ -1,12 +1,12 @@
{
"name": "gvr-app",
"version": "1.2.2",
"version": "1.3.0",
"lockfileVersion": 3,
"requires": true,
"packages": {
"": {
"name": "gvr-app",
"version": "1.2.2",
"version": "1.3.0",
"license": "UNLICENSED",
"dependencies": {
"@discordjs/voice": "^0.19.2",

View File

@@ -1,7 +1,7 @@
{
"name": "gvr-app",
"productName": "겜녹이",
"version": "1.2.2",
"version": "1.3.0",
"description": "겜녹이 (Game Voice Recorder) - 게임 연동 디스코드 음성 기록",
"private": true,
"main": "dist/main.cjs",

View File

@@ -0,0 +1,215 @@
// 범인찾기 실제 E2E: 실제 앱 코어 + 실제 사이트 서버 + 실제 Claude API(Opus 5.5, 생각 high) + 실제 OP.GG MCP + 헤드리스 브라우저.
// 1) 발로란트 시연 경기 (22라운드 · 대화) → OP.GG 에 없는 경기 → 기록 점수만으로 분석
// 2) 롤: OP.GG 에서 받은 실제 랭크 경기(10명 실제 스탯)에 우리 팀 2명의 대화를 붙인 경기 → OP.GG 실제 OP스코어를 찾아 같이 분석
// 비용이 든다 (경기당 약 $0.4). API 키는 secrets.json 에서 읽어 이 프로세스 안에서만 쓴다.
// node --import tsx scripts/culprit-real-e2e.mts [결과 폴더]
import fs from 'node:fs';
import os from 'node:os';
import path from 'node:path';
import type { CulpritInput, CulpritMatchInfo, MatchPlayer } from '@gvr/shared';
import { culpritApi, MIN, seedValorant, setup } from '../test/fixtures/culprit-seed.ts';
const outDir = process.argv[2] || path.join(os.homedir(), '.tmp', 'culprit-real');
fs.mkdirSync(outDir, { recursive: true });
const root = path.resolve(import.meta.dirname, '..', '..');
const apiKey = JSON.parse(fs.readFileSync(path.join(os.homedir(), '.config/ejclaw/secrets.json'), 'utf8')).credentials['anthropic.api/game-voice-recorder'].token as string;
const { opggCaller } = await import('../../site/server/src/opgg.ts');
const opgg = opggCaller();
const core = setup();
await core.assets.refresh(true).catch(() => undefined);
const { id: valId } = seedValorant(core);
// ---------------------------------------------------------------- 롤: OP.GG 의 실제 랭크 경기
const POS: Record<string, string> = { TOP: '탑', JUNGLE: '정글', MID: '미드', ADC: '원딜', SUPPORT: '서폿' };
const listOf = async (name: string, tag: string) =>
((await opgg('lol_list_summoner_matches', { game_name: name, tag_line: tag, region: 'KR', limit: 10, desired_output_fields: ['data.game_history[].{created_at,game_length_second,game_type,id}'] })) as any).data.game_history as any[];
const detailOf = async (g: any) =>
((await opgg('lol_get_summoner_game_detail', {
region: 'KR',
game_id: g.id,
created_at: g.created_at,
desired_output_fields: [
'data.game_detail.teams[].participants[].stats.{assist,champion_level,death,gold_earned,kill,minion_kill,neutral_minion_kill,op_score,time_ccing_others,total_damage_dealt_to_champions,total_damage_taken,vision_wards_bought_in_game,ward_place}',
'data.game_detail.teams[].participants[].{position,team_key,champion_id,champion_name}',
'data.game_detail.teams[].participants[].summoner.{puuid,game_name,tagline,player}',
'data.game_detail.teams[].game_stat.{champion_kill,is_win}',
],
})) as any).data.game_detail;
// 프로 선수가 아닌 사람의 최근 솔로 랭크 (15분 이상)
const seedGame = (await listOf('Hide on bush', 'KR1')).find((g) => g.game_type === 'SOLORANKED')!;
const seedDet = await detailOf(seedGame);
const pick = seedDet.teams.flatMap((t: any) => t.participants).find((p: any) => !p.summoner.player && p.summoner.game_name !== 'Hide on bush');
const g = (await listOf(pick.summoner.game_name, pick.summoner.tagline)).find((x) => x.game_type === 'SOLORANKED' && x.game_length_second > 1200)!;
const det = await detailOf(g);
const all = det.teams.flatMap((t: any) => t.participants.map((p: any) => ({ ...p, win: t.game_stat.is_win, teamKills: t.game_stat.champion_kill })));
const selfP = all.find((p: any) => p.summoner.puuid === pick.summoner.puuid) ?? all[0];
const opggTruth = new Map<string, number>(all.map((p: any) => [p.summoner.puuid, p.stats.op_score]));
const players: MatchPlayer[] = all.map((p: any) => ({
puuid: p.summoner.puuid,
name: p.summoner.game_name,
tag: p.summoner.tagline,
team: p.team_key,
ally: p.team_key === selfP.team_key,
character: { id: String(p.champion_id), name: p.champion_name, icon: null },
kills: p.stats.kill,
deaths: p.stats.death,
assists: p.stats.assist,
cs: (p.stats.minion_kill ?? 0) + (p.stats.neutral_minion_kill ?? 0),
gold: p.stats.gold_earned,
level: p.stats.champion_level,
stats: {
role: POS[p.position],
damage: p.stats.total_damage_dealt_to_champions,
damageTaken: p.stats.total_damage_taken,
ccSeconds: p.stats.time_ccing_others ?? 0,
wardsPlaced: p.stats.ward_place ?? 0,
controlWards: p.stats.vision_wards_bought_in_game ?? 0,
},
}));
const LS = Date.parse(g.created_at) + 60000;
const LEN = g.game_length_second * 1000;
const allyWin = !!selfP.win;
const allyKills = all.filter((p: any) => p.team_key === selfP.team_key)[0].teamKills;
const enemyKills = all.filter((p: any) => p.team_key !== selfP.team_key)[0].teamKills;
const lolId = `lol-${g.id.replace(/[^\w]/g, '').slice(0, 20)}`;
core.store.upsertMatch({
id: lolId,
game: 'lol',
started_at: LS,
ended_at: LS + LEN,
status: 'complete',
map: 'Map11',
mode: 'CLASSIC',
queue: '420',
result: JSON.stringify({ win: allyWin, score: { ally: allyKills, enemy: enemyKills } }),
detail: JSON.stringify({ live: false, players, goldDiff: [], self: selfP.summoner.puuid }),
});
// 우리 팀 두 명이 음성채널에 있었다고 하고 대화를 붙인다 (실제 경기 기록 + 시험용 대화)
const mates = players.filter((p) => p.ally);
const [a, b] = [mates.find((p) => p.puuid === selfP.summoner.puuid)!, mates.find((p) => p.puuid !== selfP.summoner.puuid)!];
core.store.upsertUser({ id: 'ua', name: '승한', avatar: null });
core.store.upsertUser({ id: 'ub', name: '민수', avatar: null });
core.store.setAccounts('ua', [{ puuid: a.puuid, riotId: `${a.name}#${a.tag}` }]);
core.store.setAccounts('ub', [{ puuid: b.puuid, riotId: `${b.name}#${b.tag}` }]);
core.store.startSession('s-lol', 'g', 'c', '음성', LS - MIN);
const talk: [string, number, string][] = [
['ua', 2.5, '정글 위쪽에서 시작했어 바텀 조심해'],
['ub', 6.2, '용 앞에 와드 박아 줘 시야 없어'],
['ua', 6.5, '알았어 지금 갈게'],
['ub', 11.0, '미드 미아 미드 미아 내려간다'],
['ua', 14.8, '용 한타 열지 마 아직 우리 텔 없어'],
['ub', 15.1, '아 들어갔다 아 죽었다 미안'],
['ua', 19.5, '바론 시야 먼저 잡고 하자 혼자 가지 마'],
['ub', 24.0, allyWin ? '좋아 한타 이겼다 미드 밀자' : '아 또 잡혔네 이거 그냥 서렌 치자'],
['ua', 24.3, allyWin ? '억제기 깨고 바로 빠지자' : '아직 안 끝났어 수비하자'],
];
for (const [uid, min, text] of talk) {
if (min * MIN > LEN) continue;
const ts = LS + min * MIN;
const id = `lol-${uid}-${min}`;
core.store.insertUtterance({ id, session_id: 's-lol', user_id: uid, started_at: ts, ended_at: ts + 1800, audio_path: null, match_id: lolId });
core.store.updateUtteranceResult(id, { text, raw_text: text, words: [], noise: false, noise_reason: null, confidence: 0.9, lufs: -20, gain_db: 0, model: 'large-v3', status: 'precise' });
}
core.store.endSession('s-lol', LS + LEN + MIN);
// ---------------------------------------------------------------- 사이트 서버 (실제 Claude · 실제 OP.GG)
const local = await culpritApi(core);
const { buildServer } = await import('../../site/server/src/app.ts');
const port = 18961;
const site = await buildServer({
port, host: '127.0.0.1', publicUrl: `http://127.0.0.1:${port}`, clientId: 'x', clientSecret: 'x', botToken: 'x', allowedGuilds: [], owners: ['u1'], superAdmins: ['u1'],
sessionSecret: 'real-e2e-secret-'.repeat(3), dataDir: fs.mkdtempSync(path.join(os.tmpdir(), 'gvr-real-')), webDir: path.join(root, 'site', 'web', 'dist'), version: 't', discordApi: 'http://127.0.0.1:1',
assetUpstream: { valmedia: 'https://media.valorant-api.com/', ddragon: 'https://ddragon.leagueoflegends.com/', cdragon: 'https://raw.communitydragon.org/' },
culprit: { apiKey, model: 'claude-opus-5-5', effort: 'high', monthLimitUsd: 100, dailyLimit: 20, tone: 'medium', opgg: true },
});
site.app.log.level = 'info';
await site.app.listen({ host: '127.0.0.1', port });
const base = `http://127.0.0.1:${port}`;
const code = site.store.createCode('real');
const reg = site.store.redeem(code.code, 'GAME-PC')!;
const { RelayClient } = await import('../src/core/relay/client.ts');
const rc = new RelayClient(local as any, core.bus, () => ({ serverUrl: base, deviceId: reg.deviceId, deviceKey: reg.deviceKey, name: 'GAME-PC', version: 't', guildId: 'g' }));
rc.start();
while (!site.hub.status().online) await new Promise((r) => setTimeout(r, 100));
const sess = site.store.createSession({ id: 'u1', name: '승한', avatar: null });
const cookieHeader = `gvr_sid=${encodeURIComponent(site.app.signCookie(sess.token))}`;
const stages: Record<string, string[]> = {};
// 진행 단계 기록 (실시간 알림을 가로챈다)
const pub = site.hub.publish.bind(site.hub);
site.hub.publish = (e: any) => {
if (e.type === 'culprit.progress') (stages[e.data.matchId] ||= []).push(`${e.data.stage}${e.data.message ? `(${e.data.message})` : ''}`);
pub(e);
};
async function analyze(matchId: string) {
const input = (await local.inject({ url: `/api/culprit/internal/${matchId}/input`, headers: { 'x-gvr-internal': '1' } })).json().input as CulpritInput;
fs.writeFileSync(path.join(outDir, `${matchId}.input.txt`), input.text);
const t0 = Date.now();
const r = await fetch(`${base}/api/culprit/matches/${matchId}/analyze`, { method: 'POST', headers: { cookie: cookieHeader, 'content-type': 'application/json' }, body: '{}' });
if (r.status !== 202) throw new Error(`analyze ${r.status} ${await r.text()}`);
for (;;) {
await new Promise((res) => setTimeout(res, 3000));
const info = (await (await fetch(`${base}/api/culprit/matches/${matchId}`, { headers: { cookie: cookieHeader } })).json()) as CulpritMatchInfo;
if (info.analysis) return { info, ms: Date.now() - t0 };
if (Date.now() - t0 > 10 * MIN) throw new Error('10분 안에 끝나지 않음');
const b = await (await fetch(`${base}/api/culprit/budget`, { headers: { cookie: cookieHeader } })).json();
if (!b.running.includes(matchId)) {
// 실패
throw new Error(`분석 실패: ${JSON.stringify(stages[matchId] ?? [])}`);
}
}
}
const report: any = {};
for (const id of [valId, lolId]) {
console.log(`\n=== ${id} 분석 시작`);
const { info, ms } = await analyze(id);
const a = info.analysis!;
fs.writeFileSync(path.join(outDir, `${id}.result.json`), JSON.stringify(a, null, 1));
const ref = (pid: string) => a.players.find((p) => p.id === pid)!;
const rows = a.result.players.map((p) => {
const pl = ref(p.id);
return { id: p.id, team: pl.team, ai: p.score, rating: pl.rating?.score ?? null, opgg: pl.opgg?.score ?? null, truth: opggTruth.get(pl.puuid) ?? null, tag: p.tag, comment: p.comment };
});
const teamLowest = (team: string, key: 'rating' | 'opgg') => {
const ps = rows.filter((r) => r.team === team && r[key] !== null);
return ps.length ? ps.reduce((x, y) => ((x[key] as number) <= (y[key] as number) ? x : y)).id : null;
};
report[id] = {
seconds: Math.round(ms / 1000),
model: a.model,
costUsd: a.meta.costUsd,
usage: a.meta.usage,
opgg: a.meta.opgg,
stages: stages[id],
summary: a.result.summary,
confidence: a.result.confidence,
culprits: a.result.teams.map((t) => ({ team: t.team, culprit: t.culprit, reason: t.reason, evidence: t.evidence.map((e) => e.ref), lowestRating: teamLowest(t.team, 'rating'), lowestOpgg: teamLowest(t.team, 'opgg') })),
players: rows,
};
console.log(JSON.stringify(report[id], null, 1));
}
fs.writeFileSync(path.join(outDir, 'report.json'), JSON.stringify(report, null, 1));
// ---------------------------------------------------------------- 화면
const puppeteer = (await import(path.join(os.homedir(), '.tmp/gvr-shot/node_modules/puppeteer-core/lib/esm/puppeteer/puppeteer-core.js'))).default;
const browser = await puppeteer.launch({ executablePath: '/usr/bin/google-chrome', headless: true, args: ['--no-sandbox', '--lang=ko-KR'] });
const page = await browser.newPage();
await page.setCookie({ name: 'gvr_sid', value: site.app.signCookie(sess.token), url: base });
const errs: string[] = [];
page.on('pageerror', (e: any) => errs.push(e.message));
for (const [id, name] of [[valId, 'real-val.png'], [lolId, 'real-lol.png']] as const) {
await page.setViewport({ width: 1440, height: 2000 });
await page.goto(`${base}/culprit/${id}`, { waitUntil: 'networkidle2' });
await page.waitForSelector('.cu-card', { timeout: 20000 });
await new Promise((r) => setTimeout(r, 1500));
await page.screenshot({ path: path.join(outDir, name), fullPage: true });
}
console.log('\n화면 오류:', errs);
await browser.close();
rc.stop();
await site.app.close();
await local.close();
console.log('결과:', outDir);

View File

@@ -128,3 +128,17 @@ VOICE E2E PASS
원인: `<|notimestamps|>` 라벨로만 학습 → 앱(faster-whisper)이 쓰는 타임스탬프 모드에서 끝맺음을 잊음. 검증도 notimestamps 로 해서 못 걸렀음.
→ 절반은 `<|0.00|> 문장 <|말끝|>` 라벨로 학습, 검증도 타임스탬프 모드로 → 위 표처럼 사전 없이도 개선
- 한계: 합성 음성과 시연 대화가 같은 TTS 엔진이라 실제 목소리에서는 개선 폭이 작을 수 있다. 실사용 교정 데이터가 2주쯤 쌓이면 게임 PC(RTX 5070 Ti)에서 다시 학습해 비교한다
## 범인찾기 v1.3.0 실제 E2E (2026-10-15)
`node --import tsx app/scripts/culprit-real-e2e.mts` — 실제 앱 코어 → 실제 사이트 서버(중계) → **실제 Claude API (claude-opus-5-5, 생각 high, 구조화 출력)** · **실제 OP.GG MCP** → 근거 확인 → 게임 PC 에 저장 → 헤드리스 브라우저로 결과 화면
| 경기 | OP.GG | 걸린 시간 | 토큰 (입력 / 캐시 쓰기 / 출력) | 비용 | 범인 |
|---|---|---|---|---|---|
| 발로란트 시연 경기 (22라운드 · 킬 156 · 대화 4문장) | 없음 (시연 경기) → 기록 점수로 | 42초 | 10,579 / 7,486 / 3,320 | $0.146 | 우리 P5 (기록 점수 공동 최하위 5.0, 이유에 동점자 P4 와 비교) · 상대 P7 (기록 1.9 경기 최하위) |
| 롤 실제 솔로 랭크 (OP.GG 에서 받은 10명 실제 스탯 + 우리 팀 2명 시험용 대화 9문장) | **10명 찾음** (실제 OP스코어와 같음) | 36초 | 1,884 / 9,041 / 2,825 | $0.109 | 우리 P5 (OP.GG 3.0 · 기록 2.1 팀 최하위) · 상대 P8 (OP.GG 4.9 · 기록 5.1 팀 최하위) |
- 진행 단계: `OP.GG 점수 찾는 중 → AI 가 읽는 중 → 근거 확인 → 완료`, 화면 오류 · CSP 위반 없음
- AI 평점은 전적 사이트 점수에서 출발해 승부처 · 대화로 조정됨 (롤 10명 AI 평점과 OP.GG 점수 차 평균 0.2점, 최대 0.5점). 범인 이유에 "OP.GG 점수 3.0으로 경기 최하위", "기록 점수는 현우와 5.0점 공동 최하위 … 그래서 Duck" 처럼 점수와 근거를 같이 씀
- 이 롤 경기에서 기록 점수와 실제 OP.GG 점수 차: 평균 0.5점, 팀 최하위 2팀 모두 일치
- 단위 · 통합 테스트: 앱 40개 · 사이트 서버 18개 통과 (`rating.test.ts`: 실제 OP.GG 표본 20경기 · 발로란트 40명으로 평균 오차와 팀 최하위 일치 확인)