docs(v2): record the LLM next to the STT and in a real game

gamemode (third run), gamemode_stt and gamemode_live finished on the
game PC. The STT on the GPU takes 2.7 GB at its 10-speaker peak, as
estimated, and leaves the game 3.6 GB (experts 0 GB) or 2.6 GB (2 GB).
The STT stays on the GPU in games: on the CPU one utterance takes
3.0-3.8 s. In a real game the 2 GB expert placement is twice as fast as
0 GB. The GPU contention between the STT and the LLM, the in-game floor
placement and an STT margin for the normal placement wait for the user.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
javis-bot
2026-11-10 21:12:19 +09:00
parent 290a4c9dcf
commit 7da86262de
3 changed files with 39 additions and 4 deletions

View File

@@ -34,7 +34,7 @@
| 도구 호출 | Strata에서 동작(빠름 12번 중 9번, 권장 12번 중 8번). 둘 다 도구를 부르지 않고 한 척하는 경우가 있음: 빠름 모델은 "5분 타이머 맞춰 줘"에서 "설정했습니다"라고만 답하고(3번 모두), 권장 모델은 "서울 날씨 어때?"에서 날씨를 지어내 답함(3번 모두). 두뇌 코드에서 고침(2026-11-10): (1) 지시문에 "바뀌는 정보(날씨·뉴스·가격·화면)는 이번 턴 도구 결과로만 말하고, 동작은 도구가 성공했을 때만 했다고 말한다"는 규칙을 넣고, 지시문 끝에 이번 턴에 쓸 수 있는 도구 이름을 다시 적음. (2) 모델이 계획 단계가 고른 도구를 건너뛰고 답하면 그 답을 버리고 계획에 적힌 호출을 직접 실행한 뒤 결과로 다시 답하게 함(인자가 도구 형식에 맞을 때만, 아니면 원래 답 유지). (3) 계획 단계에 도구 인자 이름을 보여 줌. 측정 키트 `tools_fast`/`tools_recommended` 단계로 두 모델에서 다시 확인. 수정 후에도 틀리면 모델을 바꿈(사용자 결정): 키트가 같은 계열의 덜 압축된 모델(빠름: UD-Q6_K_XL, Q8_0 / 권장: IQ3_XXS, IQ3_S)을 차례로 재고, 처음 통과한 모델을 기본값으로 함. 재측정 결과(2026-11-10): 빠름 모델 UD-Q4_K_XL이 27번 모두 통과해 기본값 그대로 둠. 도구를 모두 모델이 직접 불렀고 "건너뛴 도구 직접 실행" 장치는 한 번도 돌지 않음. (처음 채점에서는 "할 수 있는 도구는 없습니다/준비되어 있지 않습니다"를 거절로 읽지 못해 6번을 실패로 잘못 매겼고, 그래서 Q6_K_XL과 Q8_0까지 받아 잼. 채점을 고친 뒤 세 모델 모두 27번 통과.) 권장 모델은 Q2_0, IQ3_XXS, IQ3_S 모두 27번 중 24번: "거실 불 꺼 줘"에서 계획 단계는 도구가 필요 없다고 했는데 상관없는 도구(화면 보기, 날씨, 한 번은 0분 타이머)를 부름. 압축 정도와 상관없는 모델 성질이라 권장 모델은 뺌 |
| 분리된 화면공유 창 | 분리 창은 하나뿐이고 그 안에서 볼 화면공유를 고름. 창 제목에는 음성 채널 이름만 있어 누구 화면인지 모름. 누가 공유 중인지는 음성 채널 상태로 확인. 물어본 사람이 공유 중이 아니면 그렇다고 답함. 공유 중이면 공유자가 여러 명이어도 따로 묻지 않고 분리 창을 바로 캡처(사용자가 이미 그 사람 화면을 보고 있음). 가려져도 영상은 계속 그려짐 |
| 게임 감지 | 발로란트(테두리 없는 창)를 게임으로, 브라우저 전체화면 영상을 게임 아님으로 바르게 판단. 안티치트 Vanguard 실행 감지 |
| 게임 모드 VRAM 비우기 | Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기를 지원하지 않음(`POST /v1/vram`이 400). 그래서 게임 중 배치는 전문가 층 VRAM 몫(`--expert-vram`)과 프롬프트 조각(`--prefill 2048`)을 정해 다시 시작함. M0 `gamemode` 두 번 측정 결과(2026-11-10): 16GB 카드에서는 게임에 8GB를 비울 수 없음(가장 많이 비운 배치도 6.3GB, STT 제외). `--kv`와 `--mtp off`는 이 엔진에서 VRAM을 줄이지 않음(엔진 소스와 측정으로 확인). 게임 중 배치는 동시 1개, 이미지 CPU, CPU 작업자 8개, 맥락 16K이고 전문가 몫은 식으로 계산함. 이 PC는 기본값 8GB를 못 비우므로 최소 배치(전문가 0GB, 출력 48 tok/s, 음성 첫 문장 0.64초)로 가고 "게임에 약 3.1GB까지만"을 표시함(STT 최대치 약 2.7GB 포함, LLM과 STT를 따로 잰 값을 더한 추정). 배치 전환 28~36초. 엔진이 실행 중 줄이기를 지원하면 다시 잼 ([pc-features.md](pc-features.md#측정-결과-m0-gamemode-2026-11-10-rtx-5070-ti-16gb-ryzen-9-9950x3d)) |
| 게임 모드 VRAM 비우기 | Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기를 지원하지 않음(`POST /v1/vram`이 400). 그래서 게임 중 배치는 전문가 층 VRAM 몫(`--expert-vram`)과 프롬프트 조각(`--prefill 2048`)을 정해 다시 시작함. M0 `gamemode` 두 번 측정 결과(2026-11-10): 16GB 카드에서는 게임에 8GB를 비울 수 없음(가장 많이 비운 배치도 6.3GB, STT 제외). `--kv`와 `--mtp off`는 이 엔진에서 VRAM을 줄이지 않음(엔진 소스와 측정으로 확인). 게임 중 배치는 동시 1개, 이미지 CPU, CPU 작업자 8개, 맥락 16K이고 전문가 몫은 식으로 계산함. 이 PC는 기본값 8GB를 못 비우므로 최소 배치(전문가 0GB, 출력 48 tok/s, 음성 첫 문장 0.64초)로 가고 "게임에 약 3.6GB까지만"을 표시함(LLM과 STT를 함께 켜고 10명 동시 전사를 돌리며 잰 값, `gamemode_stt`). 배치 전환 28~36초, 실제 게임 중 43~47초. STT는 게임 중에도 GPU에 둠: CPU로 옮기면 말 한 마디 전사가 3.0~3.8초(GPU 0.11~0.19초)라 부분 전사를 따라가지 못함. 실제 게임 중(`gamemode_live`)에는 전문가 2GB 배치가 0GB보다 두 배 빨라(STT GPU 19.3 대 9.3 tok/s) 최소 배치를 2GB로 바꿀지, STT와 LLM이 GPU를 함께 쓸 때 음성 첫 문장이 1.3~1.7초로 늘어나는 문제와 평소 배치에 STT 자리를 남기는 문제는 사용자 확인 대기. 엔진이 실행 중 줄이기를 지원하면 다시 잼 ([pc-features.md](pc-features.md#측정-결과-m0-gamemode-2026-11-10-rtx-5070-ti-16gb-ryzen-9-9950x3d)) |
| PC 프로그램 조작 (agent-desktop) | 게임PC에서 동작 확인: 계산기 12+3=15, 테스트 창 입력칸에 값 넣고 다시 읽기 성공(창을 띄우고 2.9초 뒤 읽힘). 명령 한 번: 찾기 0.18초, 누르기 0.22초, 값 넣기 0.28초. 명령마다 실행 0.10초, 계속 켜 둔 MCP 0.09초라 명령마다 실행 방식으로 정함. 디스코드·탐색기 읽기 시간은 키트가 Windows 프로세스 이름(`Discord.exe`)을 맞추지 못해 재지 못했고, 키트가 띄운 계산기는 `close-app`으로 닫히지 않음(UWP 앱이라 `APP_NOT_FOUND`). 둘 다 고쳐서 `gamemode`와 함께 다시 잼 |
| 봇용 크롬창 | 실제 모니터 어디에도 보이지 않게 가상 모니터에 둠(사용자 선택). M0 `vdisplay` 단계는 돌리지 않고, M6에서 함께 넣을 드라이버로 직접 확인 ([pc-features.md](pc-features.md#봇용-크롬창과-디스코드-화면공유)) |

View File

@@ -74,11 +74,46 @@
- **`--kv`와 `--mtp off`는 VRAM을 줄이지 않습니다.** Strata 0.1.59 qwen36 엔진 소스(`src/qwen35/q36_engine.cu`)를 보면, 이 엔진은 `--kv`를 받지 않고 대화 메모리를 맥락 길이만큼 정해진 형식으로 잡습니다. MTP 블록도 `--mtp off`와 상관없이 늘 올리고, 끄면 미리 맞히기만 멈춥니다(Strata 도움말의 "약 1GB 덜 씀"은 이 엔진에 맞지 않음). 측정값도 같습니다.
- **전문가 몫에는 긴 프롬프트용 버퍼 1.1GiB가 먼저 들어갑니다.** 그래서 1GB로 주면 전문가가 하나도 올라가지 않아 0GB와 같고, 2GB에서 층마다 256개 중 12개(0.88GiB)가 올라갑니다. 이 12개가 속도를 크게 바꿉니다: 출력 75 대 48 tok/s, 음성 첫 문장 0.51 대 0.64초. 둘 다 기준(30 tok/s, 0.7초) 안이지만, 0GB는 기준에 가깝습니다.
- **맥락을 줄이면** 32K→16K에서 약 0.7GB, 16K→8K에서 약 0.4GB가 줄고 속도는 같습니다. 게임 중 맥락은 16K로 둡니다. 지난 대화 약 4천 토큰에 지시문, 도구 설명, 화면 이미지, 검색 결과가 더해지면 8K는 넘칠 수 있어서, 0.4GB를 위해 8K를 쓰지 않습니다.
- **이 PC의 게임 중 배치**: 기본값 8GB는 비울 수 없으므로 [몫이 최소 배치보다 작을 때](#pc마다-값을-계산) 규칙대로 최소 배치(전문가 0GB, 맥락 16K)로 갑니다. 게임 몫은 LLM만 놓고 5.9GB입니다. STT는 모델만 1.3GB이고 10명 동시 전사 때 1.44GB가 더 늘어나므로(M0 `stt` 실측, 최대 약 2.7GB), 게임 몫은 약 3.1GB입니다. 그래서 "이 PC에서는 게임에 약 3.1GB까지만 비울 수 있음"을 표시합니다. 게임용으로 비울 VRAM을 약 2.2GB 이하로 정하면 같은 식으로 전문가 2GB 배치가 되어 출력이 약 75 tok/s로 돌아옵니다. 3.1GB와 2.2GB는 LLM과 STT를 따로 잰 값을 더한 추정입니다. 둘을 함께 켜고 10명 동시 전사를 돌린 측정은 아직 없습니다.
- **이 PC의 게임 중 배치**: 기본값 8GB는 비울 수 없으므로 [몫이 최소 배치보다 작을 때](#pc마다-값을-계산) 규칙대로 최소 배치(전문가 0GB, 맥락 16K)로 갑니다. LLM과 STT(GPU, 10명 동시 전사)를 함께 켜고 잰 게임 몫은 3.6GB여서(아래 세 번째 측정) "이 PC에서는 게임에 약 3.6GB까지만 비울 수 있음"을 표시합니다. 게임용으로 비울 VRAM을 약 2.6GB 이하로 정하면 같은 식으로 전문가 2GB 배치가 되어 출력이 약 74 tok/s로 돌아옵니다(STT가 쉬고 있을 때). 실제 게임에서는 전문가 2GB 배치가 0GB 배치보다 두 배 빨랐으므로, 16GB 카드의 게임 중 최소 배치를 전문가 2GB로 바꿀지 사용자 확인을 기다립니다.
- **CPU 작업자**를 16개에서 8개로 줄여도 출력 속도가 줄지 않았습니다(73.8 대 75.8 tok/s). 게임 중에는 8개로 둡니다.
- **아직 재지 않은 것**: 게임이 GPU를 함께 쓸 때의 속도, 전문가 2GB에 맥락 16K인 배치(추정 게임 몫 LLM만 놓고 약 5.0GB, STT 최대치까지 빼면 약 2.2GB), LLM과 STT(10명 동시 전사)를 함께 켰을 때의 VRAM, 게임 중 STT를 CPU로 옮겼을 때의 전사 시간. M0 키트에 세 단계로 넣었습니다: `gamemode`(전문가 2GB 맥락 16K 배치 추가), `gamemode_stt`(STT를 먼저 켜고 10명 동시 전사를 돌리면서 LLM을 잼, 게임 중 배치는 STT GPU와 CPU 둘 다), `gamemode_live`(실제 게임을 켠 채로 게임 중 배치 4개). 게임 중 STT를 CPU로 옮길지는 `gamemode_stt`와 `gamemode_live`에서 CPU 전사 시간(10명 동시, 한 사람)과 LLM 속도가 함께 버티는지 보고 정합니다. 옮기면 게임 몫이 약 2.7GB 늘어납니다.
- **STT는 게임 중에도 GPU에 둡니다.** CPU로 옮기면 게임 몫이 약 2.7GB 늘고 LLM도 빨라지지만, 4~5초짜리 말 한 마디를 받아 적는 데 3.0~3.8초(GPU 0.11~0.19초), 10명 동시 전사 한 번에 32~37초(GPU 1.1~3.0초)가 걸려 0.3~0.5초마다 하는 부분 전사를 따라가지 못합니다. 실제 게임 중 음성 답 시작까지 걸리는 시간도 STT 전사와 음성 첫 문장을 더하면 CPU 약 4.3초, GPU 약 1.2초입니다(전문가 2GB 배치).
- **평소 동시 요청 수**: 동시 2개는 Strata가 "16GB 카드에는 1개가 맞음"이라고 경고하고, 전문가 층을 덜 올려서 동시 1개 배치(전문가 6GB)보다 출력이 느렸습니다(69.6~74.7 대 97.1 tok/s). 그래서 평소에는 1개로 두고, 채팅 채널 중 하나라도 "모든 메시지에 대답"일 때만 2개 이상으로 합니다(사용자 결정, 2026-11-10).
세 번째 실행(LLM만, 게임 중 후보는 모두 동시 1개, 이미지 CPU, CPU 작업자 8개):
| 배치 | 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 모델 VRAM | 게임에 남는 VRAM |
|---|---|---|---|---|---|
| 평소(동시 1개, 이미지 GPU) | 85.0 / 되돌린 뒤 94.1 | 0.39초 / 0.36초 | 1.6초 / 1.3초 | 13.8GB / 14.4GB | 0.6GB |
| 전문가 2GB, 맥락 32K | 74.0 | 0.53초 | 1.1초 | 10.8GB | 4.1GB |
| 전문가 2GB, 맥락 16K | 74.3 | 0.52초 | 1.1초 | 10.0GB | 4.9GB |
| 전문가 0GB, 맥락 16K | 49.4 | 0.66초 | 1.1초 | 9.1GB | 5.8GB |
LLM과 STT를 함께 켠 측정(M0 `gamemode_stt`, 게임 없음). STT를 먼저 켜고, LLM을 재는 동안 STT는 10명 동시 전사를 쉬지 않고 되풀이합니다. 말 한 마디는 약 4~5초입니다:
| 배치 | STT | LLM 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 10명 동시 전사 | 한 사람 전사 | 게임에 남는 VRAM |
|---|---|---|---|---|---|---|---|
| 평소(동시 1개) | GPU | 33.8 | 1.65초 | 7.5초 | 2.6초 | 0.11초 | 0.4GB |
| 평소(동시 2개) | GPU | 14.5 | 1.44초 | 2.3초 | 1.5초 | 0.16초 | 0.4GB |
| 전문가 2GB, 맥락 16K | GPU | 23.7 | 1.29초 | 1.7초 | 1.2초 | 0.13초 | 2.6GB |
| 전문가 2GB, 맥락 16K | CPU(8개) | 58.6 | 0.69초 | 1.5초 | 32.3초 | 3.0초 | 5.4GB |
| 전문가 0GB, 맥락 16K | GPU | 18.0 | 1.30초 | 1.3초 | 1.1초 | 0.12초 | 3.6GB |
| 전문가 0GB, 맥락 16K | CPU(8개) | 36.3 | 0.92초 | 1.5초 | 35.5초 | 3.0초 | 6.3GB |
실제 게임을 켠 측정(M0 `gamemode_live`, 창 모드 게임 플레이 중). 엔진을 켜기 전 VRAM 사용량은 게임 포함 3.2~4.6GB였습니다(게임 없을 때 0.7~1.9GB). 배치 전환은 43~47초:
| 배치 | STT | LLM 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 10명 동시 전사 | 한 사람 전사 | 게임에 남는 VRAM |
|---|---|---|---|---|---|---|---|
| 전문가 2GB, 맥락 16K | GPU | 19.3 (최저 9.4) | 1.05초 | 2.3초 | 3.0초 (최대 7.0초) | 0.19초 | 0.5GB |
| 전문가 2GB, 맥락 16K | CPU(8개) | 38.4 | 0.96초 | 1.6초 | 36.8초 | 3.3초 | 3.0GB |
| 전문가 0GB, 맥락 16K | GPU | 9.3 | 1.95초 | 2.9초 | 1.6초 | 0.17초 | 1.2GB |
| 전문가 0GB, 맥락 16K | CPU(8개) | 25.4 | 1.12초 | 1.7초 | 35.1초 | 3.8초 | 4.0GB |
- **STT 몫은 추정과 같습니다.** STT를 GPU에 두면 10명 동시 전사 때 VRAM이 2.7GB 더 올라갑니다(LLM이 쓰는 양에서 최대치까지). 게임 몫은 추정(0GB 3.1GB, 2GB 2.2GB)보다 조금 많은 3.6GB와 2.6GB였습니다.
- **STT와 LLM이 GPU 계산을 두고 다툽니다.** STT가 10명 동시 전사를 쉬지 않고 돌리면 LLM 출력이 1/2.5~1/3로 줄고(평소 85→34, 전문가 2GB 74→24, 0GB 49→18 tok/s) 음성 첫 문장이 1.3~1.7초로 기준(0.7초)을 넘습니다. STT 쪽은 함께 돌아도 한 사람 0.11~0.19초로 버팁니다. 10명이 쉬지 않고 말하는 최악의 경우이지만, 부분 전사를 0.3~0.5초마다 하므로 여러 명이 동시에 말하면 비슷한 부하가 됩니다. 줄이는 방법은 사용자 확인을 기다립니다.
- **평소 배치는 STT 자리를 남기지 않습니다.** 평소(동시 1개) 배치는 Strata 자동 배치가 VRAM을 전문가 층으로 채워서, STT를 함께 돌리면 16.3GB 중 15.9GB까지 차고 맥락 첫 토큰이 7.5초로 늘었습니다(혼자일 때 1.6초). qwen36 엔진은 `--vram-reserve-mib`를 받지 않으므로(엔진 기록: "not an option of this engine") 평소 배치도 STT 몫을 빼고 `--expert-vram`을 정해야 합니다. 이렇게 바꿀지 사용자 확인을 기다립니다.
- **실제 게임에서는 전문가 2GB가 0GB보다 두 배 빠릅니다**(STT GPU 19.3 대 9.3, STT CPU 38.4 대 25.4 tok/s). 0GB는 전문가 층을 모두 CPU로 계산해서 게임과 CPU를 함께 쓰기 때문입니다. 0GB가 더 비우는 VRAM은 약 0.9GB입니다. 이번 게임은 VRAM을 약 2~3GB 썼고 네 배치 모두 켜졌지만, 전문가 2GB에 STT GPU면 남는 VRAM이 0.5GB로 빠듯했습니다.
- **재지 않은 것**: LLM과 STT가 게임 화면 프레임에 주는 영향(키트는 게임 화면을 보지 않음).
## 화면 보기: 전체 화면, 모니터별, 프로그램(창)별
- Windows Graphics Capture API로 다음을 볼 수 있습니다.

View File

@@ -4,7 +4,7 @@
| 단계 | 내용 | 완료 기준 |
|---|---|---|
| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 가상 모니터 확인을 뺀 모든 항목 측정 완료(2026-11-10). 가상 모니터 확인은 M6에서 합니다. 2026-11-10에 추가한 `desktop` 단계(agent-desktop)는 측정을 마쳤고, 자동 성능 조절용 `gamemode` 단계는 두 번 쟀고, 추가한 배치(전문가 2GB 맥락 16K)와 `gamemode_stt`(LLM과 STT를 함께 켬, STT GPU·CPU), `gamemode_live`(실제 게임을 켬) 단계는 측정 대기입니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) |
| M0 | 게임PC 사전 검증 | 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 가상 모니터 확인을 뺀 모든 항목 측정 완료(2026-11-10). 가상 모니터 확인은 M6에서 합니다. 2026-11-10에 추가한 `desktop` 단계(agent-desktop)는 측정을 마쳤고, 자동 성능 조절용 `gamemode` 단계는 세 번 쟀고, `gamemode_stt`(LLM과 STT를 함께 켬, STT GPU·CPU)와 `gamemode_live`(실제 게임을 켬) 단계도 측정을 마쳤습니다(2026-11-10). 결과로 생긴 게임 중 최소 배치, STT와 LLM의 GPU 다툼, 평소 배치의 STT 자리는 사용자 확인 대기입니다. 측정 키트: [scripts/m0/](../../scripts/m0/README.md) |
| M1 | 음성 워커 | 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과 |
| M2 | 디스코드 음성 코어 이전 | v1 봇 코드를 Electron 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기) |
| M3 | 두뇌 연결 | 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과 |