From aa34f707b511d2d255be78990225f3453e8e67ba Mon Sep 17 00:00:00 2001 From: javis-bot Date: Wed, 11 Nov 2026 00:40:43 +0900 Subject: [PATCH] docs(v2): record the gamemode_tune results - Normal placement with the STT room and 1 GB for other programs: expert VRAM 1.5 GB, 1.8 GB left at the STT peak, context TTFT back to 1.9 s (was 7.5 s), 64.4 tok/s alone. - Game mode pauses STT partials while the LLM answers: 64.9 tok/s vs 37.5 tok/s at a 2 s pace, final wait 0.001 s vs up to 1.2 s. - The 95 % GPU cap paused for 5.2 % but nvidia-smi utilisation did not drop (96->98 %, 40->39 %) and decode was 6-10 % slower; whether to keep it is pending a user decision. Co-Authored-By: Claude Opus 5.5 --- docs/v2/decisions.md | 2 +- docs/v2/pc-features.md | 26 +++++++++++++++++++++++--- docs/v2/roadmap.md | 2 +- docs/v2/voice-and-llm.md | 2 +- 4 files changed, 26 insertions(+), 6 deletions(-) diff --git a/docs/v2/decisions.md b/docs/v2/decisions.md index b2323fc..db277e4 100644 --- a/docs/v2/decisions.md +++ b/docs/v2/decisions.md @@ -34,7 +34,7 @@ | 도구 호출 | Strata에서 동작(빠름 12번 중 9번, 권장 12번 중 8번). 둘 다 도구를 부르지 않고 한 척하는 경우가 있음: 빠름 모델은 "5분 타이머 맞춰 줘"에서 "설정했습니다"라고만 답하고(3번 모두), 권장 모델은 "서울 날씨 어때?"에서 날씨를 지어내 답함(3번 모두). 두뇌 코드에서 고침(2026-11-10): (1) 지시문에 "바뀌는 정보(날씨·뉴스·가격·화면)는 이번 턴 도구 결과로만 말하고, 동작은 도구가 성공했을 때만 했다고 말한다"는 규칙을 넣고, 지시문 끝에 이번 턴에 쓸 수 있는 도구 이름을 다시 적음. (2) 모델이 계획 단계가 고른 도구를 건너뛰고 답하면 그 답을 버리고 계획에 적힌 호출을 직접 실행한 뒤 결과로 다시 답하게 함(인자가 도구 형식에 맞을 때만, 아니면 원래 답 유지). (3) 계획 단계에 도구 인자 이름을 보여 줌. 측정 키트 `tools_fast`/`tools_recommended` 단계로 두 모델에서 다시 확인. 수정 후에도 틀리면 모델을 바꿈(사용자 결정): 키트가 같은 계열의 덜 압축된 모델(빠름: UD-Q6_K_XL, Q8_0 / 권장: IQ3_XXS, IQ3_S)을 차례로 재고, 처음 통과한 모델을 기본값으로 함. 재측정 결과(2026-11-10): 빠름 모델 UD-Q4_K_XL이 27번 모두 통과해 기본값 그대로 둠. 도구를 모두 모델이 직접 불렀고 "건너뛴 도구 직접 실행" 장치는 한 번도 돌지 않음. (처음 채점에서는 "할 수 있는 도구는 없습니다/준비되어 있지 않습니다"를 거절로 읽지 못해 6번을 실패로 잘못 매겼고, 그래서 Q6_K_XL과 Q8_0까지 받아 잼. 채점을 고친 뒤 세 모델 모두 27번 통과.) 권장 모델은 Q2_0, IQ3_XXS, IQ3_S 모두 27번 중 24번: "거실 불 꺼 줘"에서 계획 단계는 도구가 필요 없다고 했는데 상관없는 도구(화면 보기, 날씨, 한 번은 0분 타이머)를 부름. 압축 정도와 상관없는 모델 성질이라 권장 모델은 뺌 | | 분리된 화면공유 창 | 분리 창은 하나뿐이고 그 안에서 볼 화면공유를 고름. 창 제목에는 음성 채널 이름만 있어 누구 화면인지 모름. 누가 공유 중인지는 음성 채널 상태로 확인. 물어본 사람이 공유 중이 아니면 그렇다고 답함. 공유 중이면 공유자가 여러 명이어도 따로 묻지 않고 분리 창을 바로 캡처(사용자가 이미 그 사람 화면을 보고 있음). 가려져도 영상은 계속 그려짐 | | 게임 감지 | 발로란트(테두리 없는 창)를 게임으로, 브라우저 전체화면 영상을 게임 아님으로 바르게 판단. 안티치트 Vanguard 실행 감지 | -| 게임 모드 VRAM 비우기 | Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기를 지원하지 않음(`POST /v1/vram`이 400). 그래서 게임 중 배치는 전문가 층 VRAM 몫(`--expert-vram`)과 프롬프트 조각(`--prefill 2048`)을 정해 다시 시작함. M0 `gamemode` 두 번 측정 결과(2026-11-10): 16GB 카드에서는 게임에 8GB를 비울 수 없음(가장 많이 비운 배치도 6.3GB, STT 제외). `--kv`와 `--mtp off`는 이 엔진에서 VRAM을 줄이지 않음(엔진 소스와 측정으로 확인). 게임 중 배치는 동시 1개, 이미지 CPU, CPU 작업자 8개, 맥락 16K이고 전문가 몫은 식으로 계산함. 게임 중 최소 배치는 전문가 2GB(사용자 결정, 2026-11-10): 실제 게임 중(`gamemode_live`) 0GB보다 출력이 1.5~2.1배 빨랐음(STT GPU 19.3 대 9.3, STT CPU 38.4 대 25.4 tok/s). 0GB는 2GB로 게임 몫이 0 이하인 PC에서만 일시정지 전에 씀. 이 PC는 기본값 8GB를 못 비우므로 최소 배치로 가고 "게임에 약 2.6GB까지만"을 표시함(LLM과 STT를 함께 켜고 10명 동시 전사를 돌리며 잰 값, `gamemode_stt`). 평소 배치도 Strata 자동 배치 대신 같은 식으로 STT 몫을 남겨 `--expert-vram`을 정함(사용자 결정, 2026-11-10): 자동 배치는 STT와 함께 16.3GB 중 15.9GB까지 채웠고 맥락 첫 토큰이 1.6초에서 7.5초로 늘었음. 게임 중에 LLM이 답하는 동안에는 STT 부분 전사 간격을 늘리고 최종 전사는 바로 처리함. 게임이 없을 때는 LLM이 답하는 동안에도 부분 전사를 줄이지 않고 그대로 함(사용자 결정, 2026-11-10). 10명 동시 전사를 쉬지 않고 돌리면 LLM 출력이 1/2.5~1/3로 줄고 음성 첫 문장이 1.3~1.7초가 됨. 평소 배치는 다른 프로그램용 여유 VRAM 1GB를 더 남기고(설정에서 바꿈), Jarvis의 GPU 사용률은 95%로 제한함: LLM 엔진과 음성 워커를 200ms마다 함께 10ms씩 멈춤(사용자 결정, 2026-11-10, 영상을 볼 여유를 위해). 모두 `gamemode_tune`으로 다시 재서 간격과 속도를 확정함. 배치 전환 28~36초, 실제 게임 중 43~47초. STT는 게임 중에도 GPU에 둠: CPU로 옮기면 말 한 마디 전사가 3.0~3.8초(GPU 0.11~0.19초)라 부분 전사를 따라가지 못함. 엔진이 실행 중 줄이기를 지원하면 다시 잼 ([pc-features.md](pc-features.md#측정-결과-m0-gamemode-2026-11-10-rtx-5070-ti-16gb-ryzen-9-9950x3d)) | +| 게임 모드 VRAM 비우기 | Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기를 지원하지 않음(`POST /v1/vram`이 400). 그래서 게임 중 배치는 전문가 층 VRAM 몫(`--expert-vram`)과 프롬프트 조각(`--prefill 2048`)을 정해 다시 시작함. M0 `gamemode` 두 번 측정 결과(2026-11-10): 16GB 카드에서는 게임에 8GB를 비울 수 없음(가장 많이 비운 배치도 6.3GB, STT 제외). `--kv`와 `--mtp off`는 이 엔진에서 VRAM을 줄이지 않음(엔진 소스와 측정으로 확인). 게임 중 배치는 동시 1개, 이미지 CPU, CPU 작업자 8개, 맥락 16K이고 전문가 몫은 식으로 계산함. 게임 중 최소 배치는 전문가 2GB(사용자 결정, 2026-11-10): 실제 게임 중(`gamemode_live`) 0GB보다 출력이 1.5~2.1배 빨랐음(STT GPU 19.3 대 9.3, STT CPU 38.4 대 25.4 tok/s). 0GB는 2GB로 게임 몫이 0 이하인 PC에서만 일시정지 전에 씀. 이 PC는 기본값 8GB를 못 비우므로 최소 배치로 가고 "게임에 약 2.6GB까지만"을 표시함(LLM과 STT를 함께 켜고 10명 동시 전사를 돌리며 잰 값, `gamemode_stt`). 평소 배치도 Strata 자동 배치 대신 같은 식으로 STT 몫을 남겨 `--expert-vram`을 정함(사용자 결정, 2026-11-10): 자동 배치는 STT와 함께 16.3GB 중 15.9GB까지 채웠고 맥락 첫 토큰이 1.6초에서 7.5초로 늘었음. 게임 중에 LLM이 답하는 동안에는 STT 부분 전사 간격을 늘리고 최종 전사는 바로 처리함. 게임이 없을 때는 LLM이 답하는 동안에도 부분 전사를 줄이지 않고 그대로 함(사용자 결정, 2026-11-10). 10명 동시 전사를 쉬지 않고 돌리면 LLM 출력이 1/2.5~1/3로 줄고 음성 첫 문장이 1.3~1.7초가 됨. 평소 배치는 다른 프로그램용 여유 VRAM 1GB를 더 남기고(설정에서 바꿈), Jarvis의 GPU 사용률은 95%로 제한함: LLM 엔진과 음성 워커를 200ms마다 함께 10ms씩 멈춤(사용자 결정, 2026-11-10, 영상을 볼 여유를 위해). `gamemode_tune` 측정 결과(2026-11-11): 평소 배치는 식으로 전문가 1.5GB가 나왔고 STT가 VRAM을 가장 많이 쓸 때도 1.8GB가 남았으며 맥락 첫 토큰은 7.5초에서 1.9초로 줄었음(LLM만 64.4 tok/s). 게임 중 LLM이 답하는 동안에는 부분 전사를 멈춤: 멈추면 64.9 tok/s로 STT가 없을 때와 같았고, 2초 간격은 37.5 tok/s에 음성 첫 문장 0.89초로 기준을 넘었음. GPU 95% 제한은 멈춘 시간 5.2%를 지켰지만 nvidia-smi 사용률이 내려가지 않았고(96→98%, 40→39%) 출력만 6~10% 느려져서 계속 쓸지는 사용자 결정 대기. 배치 전환 28~36초, 실제 게임 중 43~47초. STT는 게임 중에도 GPU에 둠: CPU로 옮기면 말 한 마디 전사가 3.0~3.8초(GPU 0.11~0.19초)라 부분 전사를 따라가지 못함. 엔진이 실행 중 줄이기를 지원하면 다시 잼 ([pc-features.md](pc-features.md#측정-결과-m0-gamemode-2026-11-10-rtx-5070-ti-16gb-ryzen-9-9950x3d)) | | PC 프로그램 조작 (agent-desktop) | 게임PC에서 동작 확인: 계산기 12+3=15, 테스트 창 입력칸에 값 넣고 다시 읽기 성공(창을 띄우고 2.9초 뒤 읽힘). 명령 한 번: 찾기 0.18초, 누르기 0.22초, 값 넣기 0.28초. 명령마다 실행 0.10초, 계속 켜 둔 MCP 0.09초라 명령마다 실행 방식으로 정함. 디스코드·탐색기 읽기 시간은 키트가 Windows 프로세스 이름(`Discord.exe`)을 맞추지 못해 재지 못했고, 키트가 띄운 계산기는 `close-app`으로 닫히지 않음(UWP 앱이라 `APP_NOT_FOUND`). 둘 다 고쳐서 `gamemode`와 함께 다시 잼 | | 봇용 크롬창 | 실제 모니터 어디에도 보이지 않게 가상 모니터에 둠(사용자 선택). M0 `vdisplay` 단계는 돌리지 않고, M6에서 함께 넣을 드라이버로 직접 확인 ([pc-features.md](pc-features.md#봇용-크롬창과-디스코드-화면공유)) | diff --git a/docs/v2/pc-features.md b/docs/v2/pc-features.md index b9e8888..00080e1 100644 --- a/docs/v2/pc-features.md +++ b/docs/v2/pc-features.md @@ -35,7 +35,7 @@ - **게임 중 최소 배치는 전문가 2GB입니다**(사용자 결정, 2026-11-10). 전문가 몫에는 긴 프롬프트용 버퍼 1.1GiB가 먼저 들어가므로 2GB는 전문가를 실제로 올리는 가장 작은 값이고, 실제 게임 중에는 0GB보다 출력이 1.5~2.1배 빨랐습니다(아래 측정 결과). 0GB는 2GB로는 게임 몫이 0 이하가 되는 PC에서만 일시정지 전 마지막 단계로 씁니다. - **몫이 최소 배치보다 작을 때**: 계산한 몫이 최소 배치(전문가 2GB)보다 작으면, 몫을 늘려 게임 몫을 침범하지 않습니다. 대신 게임용으로 비울 VRAM을 "그래픽카드 VRAM − 다른 프로그램 − STT 몫 − 엔진 기본 버퍼 − 최소 배치"까지 줄이고, 대시보드와 게임 모드 설정 화면에 "이 PC에서는 게임에 X GB까지만 비울 수 있음"을 표시합니다. 이렇게 줄인 값이 0 이하이면(예: 8GB 그래픽카드에서 다른 프로그램이 이미 많이 씀) 게임 중에는 LLM을 멈추고 일시정지 단계로 갑니다. 게임 중 일시정지를 꺼 두었어도 마찬가지이고, 그 이유를 대시보드에 표시합니다. 게임이 끝나면 되돌리기 규칙대로 돌아옵니다. - **첫 실행 자가 점검**: 설치가 끝나면 평소·게임 중 배치로 각각 30초씩 출력 속도와 음성 첫 문장 시간을 잽니다. 평소 배치가 기준(출력 30 tok/s, 음성 첫 문장 0.7초)에 못 미치는 PC는 평소에도 동시 요청 1개, 이미지 CPU 읽기, 지난 대화 약 4천 토큰으로 시작합니다. 게임 중 배치가 기준에 못 미치면 대시보드와 설정 화면에 "게임 중에는 답이 느릴 수 있음"을 표시합니다. -- **GPU 사용률 제한(기본 95%)**: Jarvis가 GPU 계산 시간을 다 차지하지 않도록, 앱(서비스 관리자)이 LLM 엔진과 음성·두뇌 워커를 200ms마다 함께 10ms씩 멈췄다가 다시 돌립니다(Windows 프로세스 일시정지, 사용자 결정, 2026-11-10). 평소와 게임 중 모두 적용합니다. GPU는 한 프로그램에 계산 시간의 일부만 주도록 정할 수 없어서 이렇게 시간으로 나눕니다. 둘을 같은 순간에 멈춰야 그 틈에 다른 프로그램이 GPU를 씁니다. 답이 약 5% 느려질 것으로 봅니다(추정). 이미 GPU에 넘긴 계산은 멈춘 동안에도 끝까지 돌므로, 실제로 비는 시간과 속도 손해, 멈췄다 돌려도 엔진과 STT가 문제없는지는 M0 `gamemode_tune`으로 잽니다. 설정에서 50~100%로 바꿀 수 있고 100%는 끔입니다. +- **GPU 사용률 제한(기본 95%)**: Jarvis가 GPU 계산 시간을 다 차지하지 않도록, 앱(서비스 관리자)이 LLM 엔진과 음성·두뇌 워커를 200ms마다 함께 10ms씩 멈췄다가 다시 돌립니다(Windows 프로세스 일시정지, 사용자 결정, 2026-11-10). 평소와 게임 중 모두 적용합니다. GPU는 한 프로그램에 계산 시간의 일부만 주도록 정할 수 없어서 이렇게 시간으로 나눕니다. 둘을 같은 순간에 멈춰야 그 틈에 다른 프로그램이 GPU를 씁니다. 답이 약 5% 느려질 것으로 봅니다(추정). 설정에서 50~100%로 바꿀 수 있고 100%는 끔입니다. **M0 `gamemode_tune` 측정(2026-11-11)에서는 GPU 사용률이 내려가지 않았습니다**: 멈춘 시간은 정한 대로 5.2%였고 엔진과 STT도 문제없이 다시 돌았지만, nvidia-smi로 읽은 사용률은 그대로였고(STT를 쉬지 않고 돌릴 때 중앙값 96→98%, LLM만 40→39%) 출력만 6~10% 느려졌습니다([아래 측정 결과](#자동-조절-측정-m0-gamemode_tune-2026-11-11)). 이미 GPU에 넘긴 계산이 멈춘 10ms 동안에도 계속 돌아 GPU가 비지 않은 것으로 봅니다(추정). 이 방식을 계속 쓸지와 기본값은 사용자 결정을 기다립니다. - **실행 중 감시**: 대시보드가 이미 재는 단계별 지연을 씁니다. 음성 첫 문장이 최근 5번 중 3번 이상 0.7초를 넘으면 다시 시작 없이 바꿀 수 있는 것부터 낮춥니다: 지난 대화 양 → 화질 → 캡처 미리 준비. 10분 동안 기준 안에 들면 하나씩 되돌립니다. 다시 시작이 필요한 배치 변경은 게임 감지와 VRAM 부족 때만 합니다. ### 전환 규칙 @@ -111,11 +111,31 @@ LLM과 STT를 함께 켠 측정(M0 `gamemode_stt`, 게임 없음). STT를 먼저 | 전문가 0GB, 맥락 16K | CPU(8개) | 25.4 | 1.12초 | 1.7초 | 35.1초 | 3.8초 | 4.0GB | - **STT 몫은 추정과 같습니다.** STT를 GPU에 두면 10명 동시 전사 때 VRAM이 2.7GB 더 올라갑니다(LLM이 쓰는 양에서 최대치까지). 게임 몫은 추정(0GB 3.1GB, 2GB 2.2GB)보다 조금 많은 3.6GB와 2.6GB였습니다. -- **STT와 LLM이 GPU 계산을 두고 다툽니다.** STT가 10명 동시 전사를 쉬지 않고 돌리면 LLM 출력이 1/2.5~1/3로 줄고(평소 85→34, 전문가 2GB 74→24, 0GB 49→18 tok/s) 음성 첫 문장이 1.3~1.7초로 기준(0.7초)을 넘습니다. STT 쪽은 함께 돌아도 한 사람 0.11~0.19초로 버팁니다. 10명이 쉬지 않고 말하는 최악의 경우이지만, 부분 전사를 0.3~0.5초마다 하므로 여러 명이 동시에 말하면 비슷한 부하가 됩니다. 그래서 게임 중에 LLM이 답을 만드는 동안에는 부분 전사 간격을 늘리고, 말이 끝난 뒤의 최종 전사는 기다리지 않고 바로 처리합니다. 게임이 없을 때는 부분 전사를 줄이지 않습니다(사용자 결정, 2026-11-10, [voice-and-llm.md](voice-and-llm.md#stt)). 간격(2초, 또는 답하는 동안 부분 전사 멈춤)은 M0 `gamemode_tune`으로 재서 정합니다. -- **평소 배치는 STT 자리를 남기지 않습니다.** 평소(동시 1개) 배치는 Strata 자동 배치가 VRAM을 전문가 층으로 채워서, STT를 함께 돌리면 16.3GB 중 15.9GB까지 찼습니다(남은 VRAM 0.4GB). 이때 맥락 첫 토큰이 7.5초로 늘었습니다(혼자일 때 1.6초). VRAM이 거의 찬 것이 원인이라는 것은 가설입니다. 같은 측정에서 STT의 GPU 계산도 함께 돌았으므로 둘을 나눠 재지 않았습니다. qwen36 엔진은 `--vram-reserve-mib`를 받지 않으므로(엔진 기록: "not an option of this engine") 평소 배치도 STT 몫을 빼고 `--expert-vram`을 정합니다(사용자 결정, 2026-11-10, [식](#pc마다-값을-계산)). 다른 프로그램용 여유 1GB까지 빼면 이 PC에서는 식으로 약 2GB가 나와 전문가 2GB 배치(74 tok/s) 근처의 속도가 될 것으로 봅니다(추정, 여유 없이 계산하면 2~3GB, 자동 배치 혼자일 때 97 tok/s). 첫 토큰 지연이 줄어드는지와 실제 속도, 실제로 남는 VRAM은 M0 `gamemode_tune`으로 다시 잽니다. +- **STT와 LLM이 GPU 계산을 두고 다툽니다.** STT가 10명 동시 전사를 쉬지 않고 돌리면 LLM 출력이 1/2.5~1/3로 줄고(평소 85→34, 전문가 2GB 74→24, 0GB 49→18 tok/s) 음성 첫 문장이 1.3~1.7초로 기준(0.7초)을 넘습니다. STT 쪽은 함께 돌아도 한 사람 0.11~0.19초로 버팁니다. 10명이 쉬지 않고 말하는 최악의 경우이지만, 부분 전사를 0.3~0.5초마다 하므로 여러 명이 동시에 말하면 비슷한 부하가 됩니다. 그래서 게임 중에 LLM이 답을 만드는 동안에는 부분 전사를 줄이고, 말이 끝난 뒤의 최종 전사는 기다리지 않고 바로 처리합니다. 게임이 없을 때는 부분 전사를 줄이지 않습니다(사용자 결정, 2026-11-10, [voice-and-llm.md](voice-and-llm.md#stt)). M0 `gamemode_tune` 측정으로 게임 중 LLM이 답하는 동안에는 부분 전사를 멈추기로 정했습니다(2초 간격보다 LLM 출력과 최종 전사 대기가 모두 나음, [아래 측정 결과](#자동-조절-측정-m0-gamemode_tune-2026-11-11)). +- **평소 배치는 STT 자리를 남기지 않습니다.** 평소(동시 1개) 배치는 Strata 자동 배치가 VRAM을 전문가 층으로 채워서, STT를 함께 돌리면 16.3GB 중 15.9GB까지 찼습니다(남은 VRAM 0.4GB). 이때 맥락 첫 토큰이 7.5초로 늘었습니다(혼자일 때 1.6초). VRAM이 거의 찬 것이 원인이라는 것은 가설입니다. 같은 측정에서 STT의 GPU 계산도 함께 돌았으므로 둘을 나눠 재지 않았습니다. qwen36 엔진은 `--vram-reserve-mib`를 받지 않으므로(엔진 기록: "not an option of this engine") 평소 배치도 STT 몫을 빼고 `--expert-vram`을 정합니다(사용자 결정, 2026-11-10, [식](#pc마다-값을-계산)). STT 몫과 다른 프로그램용 여유 1GB를 빼고 계산한 평소 배치는 이 PC에서 전문가 1.5GB였고, STT와 함께 돌려도 맥락 첫 토큰이 1.9초로 돌아왔습니다(M0 `gamemode_tune`, [아래 측정 결과](#자동-조절-측정-m0-gamemode_tune-2026-11-11)). - **실제 게임에서는 전문가 2GB가 0GB보다 빠릅니다**: STT GPU일 때 2.1배(19.3 대 9.3 tok/s), STT CPU일 때 1.5배(38.4 대 25.4 tok/s). 0GB는 전문가 층을 모두 CPU로 계산하므로 게임과 CPU를 함께 쓰는 것이 원인으로 보이지만, 따로 나눠 재지는 않았습니다(추정). 0GB가 더 비우는 VRAM은 약 0.9GB입니다. 이번 게임은 VRAM을 약 2~3GB 썼고 네 배치 모두 켜졌지만, 전문가 2GB에 STT GPU면 남는 VRAM이 0.5GB로 빠듯했습니다. - **재지 않은 것**: LLM과 STT가 게임 화면 프레임에 주는 영향(키트는 게임 화면을 보지 않음). 측정한 사용자 느낌으로는 가끔 프레임이 떨어졌지만 크게 문제되지 않았습니다(2026-11-10). +### 자동 조절 측정 (M0 `gamemode_tune`, 2026-11-11) + +게임 없이 잼. 평소 배치는 STT 몫과 다른 프로그램용 여유 1GB를 남겨 식으로 정한 전문가 1.5GB(층마다 256개 중 5개), 맥락 32K, 동시 1개, 이미지 GPU. 게임 중 배치는 전문가 2GB, 맥락 16K, 이미지 CPU, CPU 작업자 8개. "STT 쉬지 않음"은 10명 동시 전사를 쉬지 않고 되풀이하는 최악의 경우이고, "2초"는 부분 전사(10명 동시)를 2초마다 하고 최종 전사(한 사람)는 0.5초마다 하는 경우입니다. 출력 속도는 세 번 잰 중앙값입니다: + +| 배치 | STT | GPU 95% 제한 | LLM 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | GPU 사용률 중앙값 | 남는 VRAM | +|---|---|---|---|---|---|---|---| +| 평소 | 쉬지 않음 | 없음 | 24.8 | 1.27초 | 1.9초 | 96% | 1.8GB | +| 평소 | 쉬지 않음 | 있음 | 23.4 | 1.24초 | 1.9초 | 98% | 1.8GB | +| 평소 | 끔 | 없음 | 64.4 | 0.51초 | 1.1초 | 40% | 4.6GB | +| 평소 | 끔 | 있음 | 59.5 | 0.55초 | 1.1초 | 39% | 4.6GB | +| 게임 중 | 쉬지 않음 | 없음 | 25.0 | 1.28초 | 1.7초 | 98% | 2.2GB | +| 게임 중 | 부분 전사 2초 | 없음 | 37.5 | 0.89초 | 1.4초 | 87% | 2.2GB | +| 게임 중 | 부분 전사 2초 | 있음 | 33.7 | 0.77초 | 1.7초 | 84% | 2.2GB | +| 게임 중 | 최종 전사만 | 없음 | 64.9 | 0.55초 | 1.2초 | 78% | 3.5GB | + +- **평소 배치의 STT 자리와 여유 1GB는 계산대로 남습니다.** STT가 10명 동시 전사로 VRAM을 가장 많이 쓸 때도 1.8GB가 남았고(여유 1GB와 엔진 여유분 768MiB를 더한 값과 같음), 맥락 첫 토큰은 자동 배치 때의 7.5초에서 1.9초로 줄었습니다. 대신 LLM만 돌 때 출력은 64.4 tok/s로 자동 배치(85.0)보다 느리지만 기준(30 tok/s, 0.7초) 안입니다. 전문가 몫이 1.5GB라 이전 추정(약 2GB, 74 tok/s)보다 조금 작게 나왔습니다. +- **게임 중 LLM이 답하는 동안 부분 전사를 멈추면 STT가 없을 때와 같은 속도가 나옵니다**(64.9 tok/s, 음성 첫 문장 0.55초). 2초 간격은 37.5 tok/s, 0.89초로 음성 첫 문장 기준(0.7초)을 넘고, 최종 전사가 부분 전사 뒤에서 기다리는 시간도 중앙값 0.13초, 최대 1.2초였습니다(멈추면 0.001초). 말이 끝난 뒤 한 번에 받아 적어도 한 사람 전사는 0.13초입니다. 그래서 게임 중에는 답하는 동안 부분 전사를 멈춥니다. 그동안은 GUI 실시간 자막이 바뀌지 않습니다. +- **GPU 95% 제한은 GPU를 비우지 못했습니다.** 엔진과 STT는 200ms마다 정한 대로 멈췄고(멈춘 시간 5.2%, 다시 돌리기 실패 0번) 둘 다 오류 없이 이어서 돌았습니다. 하지만 사용률은 내려가지 않았고, 95%를 넘은 표본 비율도 51%(평소, STT 쉬지 않음)로 남았습니다. 출력은 6~10% 느려졌습니다(64.4→59.5, 24.8→23.4, 37.5→33.7 tok/s). 세 번만 잰 값이라 속도 차이에는 흔들림이 있습니다. LLM만 돌 때는 제한이 없어도 사용률 중앙값이 40%라 GPU가 이미 비어 있습니다. +- **평소에 여러 명이 쉬지 않고 말하면 음성 첫 문장이 기준을 넘습니다**(1.27초, 출력 24.8 tok/s). 게임이 없을 때는 부분 전사를 줄이지 않기로 했으므로(사용자 결정, 2026-11-10) 이 최악의 경우에는 답이 늦어집니다. + ## 화면 보기: 전체 화면, 모니터별, 프로그램(창)별 - Windows Graphics Capture API로 다음을 볼 수 있습니다. diff --git a/docs/v2/roadmap.md b/docs/v2/roadmap.md index a2ff68e..80f1912 100644 --- a/docs/v2/roadmap.md +++ b/docs/v2/roadmap.md @@ -4,7 +4,7 @@ | 단계 | 내용 | 완료 기준 | |---|---|---| -| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 가상 모니터 확인을 뺀 모든 항목 측정 완료(2026-11-10). 가상 모니터 확인은 M6에서 합니다. 2026-11-10에 추가한 `desktop` 단계(agent-desktop)는 측정을 마쳤고, 자동 성능 조절용 `gamemode` 단계는 세 번 쟀고, `gamemode_stt`(LLM과 STT를 함께 켬, STT GPU·CPU)와 `gamemode_live`(실제 게임을 켬) 단계도 측정을 마쳤습니다(2026-11-10). 결과로 게임 중 최소 배치는 전문가 2GB로 정했고, 평소 배치에 STT 자리를 남기는 것과 게임 중 LLM이 답하는 동안 부분 전사 간격을 늘리는 것(게임이 없을 때는 그대로)도 정했습니다(사용자 결정, 2026-11-10). 이 둘은 `gamemode_tune` 단계로 다시 재는 중입니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) | +| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 가상 모니터 확인을 뺀 모든 항목 측정 완료(2026-11-10). 가상 모니터 확인은 M6에서 합니다. 2026-11-10에 추가한 `desktop` 단계(agent-desktop)는 측정을 마쳤고, 자동 성능 조절용 `gamemode` 단계는 세 번 쟀고, `gamemode_stt`(LLM과 STT를 함께 켬, STT GPU·CPU)와 `gamemode_live`(실제 게임을 켬) 단계도 측정을 마쳤습니다(2026-11-10). 결과로 게임 중 최소 배치는 전문가 2GB로 정했고, 평소 배치에 STT 자리를 남기는 것과 게임 중 LLM이 답하는 동안 부분 전사 간격을 늘리는 것(게임이 없을 때는 그대로)도 정했습니다(사용자 결정, 2026-11-10). `gamemode_tune` 단계도 측정을 마쳤고(2026-11-11), 게임 중 LLM이 답하는 동안에는 부분 전사를 멈추기로 정했습니다. GPU 95% 제한은 측정에서 사용률을 낮추지 못해 계속 쓸지 사용자 결정을 기다립니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) | | M1 | 음성 워커 | 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과 | | M2 | 디스코드 음성 코어 이전 | v1 봇 코드를 Electron 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기) | | M3 | 두뇌 연결 | 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과 | diff --git a/docs/v2/voice-and-llm.md b/docs/v2/voice-and-llm.md index 0cbdc68..8f3f9a9 100644 --- a/docs/v2/voice-and-llm.md +++ b/docs/v2/voice-and-llm.md @@ -20,7 +20,7 @@ - **스트리밍 전사**: 말하는 동안 조각을 계속 전사해서, 말이 끝났을 때는 마지막 조각만 처리합니다. - **종료 판정 단축**: 고정 0.8초 침묵 대기 대신 디스코드 speaking 종료 이벤트와 VAD를 같이 써서 250~400ms 안에 확정합니다(설정에서 조절). - **2단 디코딩**: 부분 전사는 beam 1(빠름), 최종 전사는 beam 2~3(정확도)입니다. -- **게임 중 LLM이 답하는 동안**: STT와 LLM은 같은 GPU를 씁니다. 10명이 쉬지 않고 말하며 부분 전사를 계속 돌리면 LLM 출력이 1/2.5~1/3로 줄었습니다(M0 `gamemode_stt`). 그래서 게임 중에 LLM이 답을 만드는 동안에는 부분 전사 간격을 늘리고(실시간 자막이 그만큼 늦게 바뀜), 말이 끝난 뒤의 최종 전사는 기다리지 않고 바로 처리합니다. 게임이 없을 때는 LLM이 답하는 동안에도 부분 전사를 그대로 합니다(사용자 결정, 2026-11-10). 최종 전사가 부분 전사보다 먼저입니다. 간격(2초, 또는 답하는 동안 멈춤)은 M0 `gamemode_tune`으로 정합니다. +- **게임 중 LLM이 답하는 동안**: STT와 LLM은 같은 GPU를 씁니다. 10명이 쉬지 않고 말하며 부분 전사를 계속 돌리면 LLM 출력이 1/2.5~1/3로 줄었습니다(M0 `gamemode_stt`). 그래서 게임 중에 LLM이 답을 만드는 동안에는 부분 전사를 멈추고(그동안 실시간 자막이 바뀌지 않음), 말이 끝난 뒤의 최종 전사는 기다리지 않고 바로 처리합니다. 게임이 없을 때는 LLM이 답하는 동안에도 부분 전사를 그대로 합니다(사용자 결정, 2026-11-10). 최종 전사가 부분 전사보다 먼저입니다. 멈추기로 한 것은 M0 `gamemode_tune` 측정 결과입니다(2026-11-11): 멈추면 LLM 출력이 STT가 없을 때와 같았고(64.9 tok/s, 음성 첫 문장 0.55초), 2초 간격은 37.5 tok/s, 0.89초에 최종 전사 대기가 최대 1.2초였습니다([pc-features.md](pc-features.md#자동-조절-측정-m0-gamemode_tune-2026-11-11)). - **호출어 힌트**: 등록한 호출어를 STT에 힌트로 넘겨 잘못 알아듣는 일을 줄입니다. - **RealtimeSTT 사용 범위**: RealtimeSTT는 화자 하나에 인스턴스 하나 구조라 10명이면 모델을 10번 올립니다. 그래서 설계(부분/최종 전사, VAD 결합)만 참고하고, **모델 1개를 10명이 공유하는 배치 방식**으로 직접 구현합니다. - **선택지**: 더 낮은 지연이 필요하면 sherpa-onnx 스트리밍 모델을 "초고속" 옵션으로 검토합니다(한국어 정확도 확인 후).