docs(v2): tie LLM concurrency to the response policy and record the game placement result
The user chose one request at a time by default (97 tok/s on a 16 GB card against 70-75 with two) and two or more only under the "in order" policy, which answers every request. The second gamemode run showed a 16 GB card cannot free 8 GB for a game: the smallest placement still leaves 6.3 GB. The Strata 0.1.59 qwen36 engine source confirms why --kv and --mtp off made no difference: it takes no --kv flag and always loads the MTP block. The game placement is now one request, CPU vision, 8 workers, 16K context and a computed expert share, falling back to the minimum placement on this PC. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -44,6 +44,8 @@
|
||||
| 마지막 대화만 | 대기열에 가장 최근 요청 하나만 남깁니다. | 지금 답을 멈추고 가장 최근 요청에 바로 답합니다. 멈춘 답은 다시 재생하지 않습니다. |
|
||||
| 제일 중요한 대화만 | 짧은 수집 시간(기본 0.7초)과 봇이 말하는 동안 들어온 요청을 모아 점수를 매기고, 가장 높은 하나에만 답합니다. 판단 기준은 (1) 사람별 우선순위, (2) 호출어로 직접 불렀는지, (3) LLM이 판단한 중요도 순입니다. 후보가 2개 이상일 때만 LLM 판단을 하므로 평소에는 지연이 늘지 않습니다. | 새 요청의 점수가 더 높으면 멈추고 새 요청에 답합니다. 낮거나 같으면 끝까지 재생하고, 그 뒤 남은 후보 중 가장 높은 것에 답합니다. |
|
||||
|
||||
LLM이 동시에 처리하는 요청 수도 이 정책을 따릅니다. "들어온 순서대로"는 모든 요청에 답하므로, 지금 답을 말하는 동안 다음 답을 미리 준비하도록 2개 이상(그래픽카드에 맞는 수, 최소 2개)으로 둡니다. 나머지 정책은 한 번에 한 요청에만 답하므로 1개로 둡니다. 16GB 카드에서는 1개일 때 답이 더 빠릅니다(출력 97 대 70~75 tok/s). 이 수는 LLM을 다시 시작해야 바뀌므로, 정책을 바꾸면 지금 답이 끝난 뒤 다시 시작합니다(약 30초). 게임 중에는 정책과 상관없이 1개입니다([pc-features.md](pc-features.md#자동-성능-조절)).
|
||||
|
||||
버려진 요청과 중간에 멈춘 답은 대시보드의 "놓친 요청" 목록에 남아서, 무엇이 왜 빠졌는지 볼 수 있습니다.
|
||||
|
||||
## AI 채팅 채널
|
||||
|
||||
@@ -29,12 +29,12 @@
|
||||
|---|---|
|
||||
| TTS | MeloTTS만 기본 제공. CosyVoice2/3는 첫 소리까지 중앙값 3.4~3.6초라 뺌. 앱 시작 때 한 번 미리 합성(첫 합성 30초) |
|
||||
| STT | large-v3-turbo, `int8_float16`(1.3GB). `float16`과 정확도가 같았음 |
|
||||
| LLM | Qwen3.6-35B-A3B 하나(위 표). 동시 요청 2개, 이미지는 GPU 처리, 화질 1280x720, 음성 답변은 생각 모드 끔. 함께 잰 Qwen3.8-Flash-Next(Q2_0, MTP 보조 모델)는 출력 131 tok/s로 82 tok/s보다 빨랐지만 음성 답변 첫 문장(0.58초 대 0.36초), 맥락 8천 토큰 첫 토큰(2.1초 대 1.6초), 이미지 1장 답변 시작(1.3초 대 0.6초)이 모두 느리고, 한국어 답에 한자(礼貌)가 한 번 섞였고, 아래 도구 호출 문제가 있어 뺌 |
|
||||
| LLM | Qwen3.6-35B-A3B 하나(위 표). 동시 요청은 응답 정책을 따름: "들어온 순서대로"(모든 요청에 답함)이면 2개 이상(카드에 맞는 수, 최소 2개), 그 밖의 정책이면 1개(사용자 결정, 2026-11-10. 16GB 카드에서 1개가 출력 97 tok/s로 2개의 70~75 tok/s보다 빠름). 게임 중에는 정책과 상관없이 1개. 이미지는 GPU 처리, 화질 1280x720, 음성 답변은 생각 모드 끔. 함께 잰 Qwen3.8-Flash-Next(Q2_0, MTP 보조 모델)는 출력 131 tok/s로 82 tok/s보다 빨랐지만 음성 답변 첫 문장(0.58초 대 0.36초), 맥락 8천 토큰 첫 토큰(2.1초 대 1.6초), 이미지 1장 답변 시작(1.3초 대 0.6초)이 모두 느리고, 한국어 답에 한자(礼貌)가 한 번 섞였고, 아래 도구 호출 문제가 있어 뺌 |
|
||||
| 지난 대화 맥락 | 약 8천 토큰에서 시작(텍스트 첫 문장 1.8초). 상한은 M4에서 왕복 지연을 실측해 정함 |
|
||||
| 도구 호출 | Strata에서 동작(빠름 12번 중 9번, 권장 12번 중 8번). 둘 다 도구를 부르지 않고 한 척하는 경우가 있음: 빠름 모델은 "5분 타이머 맞춰 줘"에서 "설정했습니다"라고만 답하고(3번 모두), 권장 모델은 "서울 날씨 어때?"에서 날씨를 지어내 답함(3번 모두). 두뇌 코드에서 고침(2026-11-10): (1) 지시문에 "바뀌는 정보(날씨·뉴스·가격·화면)는 이번 턴 도구 결과로만 말하고, 동작은 도구가 성공했을 때만 했다고 말한다"는 규칙을 넣고, 지시문 끝에 이번 턴에 쓸 수 있는 도구 이름을 다시 적음. (2) 모델이 계획 단계가 고른 도구를 건너뛰고 답하면 그 답을 버리고 계획에 적힌 호출을 직접 실행한 뒤 결과로 다시 답하게 함(인자가 도구 형식에 맞을 때만, 아니면 원래 답 유지). (3) 계획 단계에 도구 인자 이름을 보여 줌. 측정 키트 `tools_fast`/`tools_recommended` 단계로 두 모델에서 다시 확인. 수정 후에도 틀리면 모델을 바꿈(사용자 결정): 키트가 같은 계열의 덜 압축된 모델(빠름: UD-Q6_K_XL, Q8_0 / 권장: IQ3_XXS, IQ3_S)을 차례로 재고, 처음 통과한 모델을 기본값으로 함. 재측정 결과(2026-11-10): 빠름 모델 UD-Q4_K_XL이 27번 모두 통과해 기본값 그대로 둠. 도구를 모두 모델이 직접 불렀고 "건너뛴 도구 직접 실행" 장치는 한 번도 돌지 않음. (처음 채점에서는 "할 수 있는 도구는 없습니다/준비되어 있지 않습니다"를 거절로 읽지 못해 6번을 실패로 잘못 매겼고, 그래서 Q6_K_XL과 Q8_0까지 받아 잼. 채점을 고친 뒤 세 모델 모두 27번 통과.) 권장 모델은 Q2_0, IQ3_XXS, IQ3_S 모두 27번 중 24번: "거실 불 꺼 줘"에서 계획 단계는 도구가 필요 없다고 했는데 상관없는 도구(화면 보기, 날씨, 한 번은 0분 타이머)를 부름. 압축 정도와 상관없는 모델 성질이라 권장 모델은 뺌 |
|
||||
| 분리된 화면공유 창 | 분리 창은 하나뿐이고 그 안에서 볼 화면공유를 고름. 창 제목에는 음성 채널 이름만 있어 누구 화면인지 모름. 누가 공유 중인지는 음성 채널 상태로 확인. 물어본 사람이 공유 중이 아니면 그렇다고 답함. 공유 중이면 공유자가 여러 명이어도 따로 묻지 않고 분리 창을 바로 캡처(사용자가 이미 그 사람 화면을 보고 있음). 가려져도 영상은 계속 그려짐 |
|
||||
| 게임 감지 | 발로란트(테두리 없는 창)를 게임으로, 브라우저 전체화면 영상을 게임 아님으로 바르게 판단. 안티치트 Vanguard 실행 감지 |
|
||||
| 게임 모드 VRAM 비우기 | Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기를 지원하지 않음(`POST /v1/vram`이 400). 그래서 게임 중 배치는 전문가 층 VRAM 몫(`--expert-vram`)과 프롬프트 조각(`--prefill 2048`)을 정해 다시 시작함. 다시 시작은 이전 측정 약 52초. 배치별 출력 속도·음성 첫 문장·남는 VRAM·전환 시간은 M0 `gamemode` 단계에서 재고, 그 결과로 게임 중 기본 배치와 CPU 작업자 수를 정함. 엔진이 실행 중 줄이기를 지원하면 다시 잼 |
|
||||
| 게임 모드 VRAM 비우기 | Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기를 지원하지 않음(`POST /v1/vram`이 400). 그래서 게임 중 배치는 전문가 층 VRAM 몫(`--expert-vram`)과 프롬프트 조각(`--prefill 2048`)을 정해 다시 시작함. M0 `gamemode` 두 번 측정 결과(2026-11-10): 16GB 카드에서는 게임에 8GB를 비울 수 없음(가장 많이 비운 배치도 6.3GB, STT 제외). `--kv`와 `--mtp off`는 이 엔진에서 VRAM을 줄이지 않음(엔진 소스와 측정으로 확인). 게임 중 배치는 동시 1개, 이미지 CPU, CPU 작업자 8개, 맥락 16K이고 전문가 몫은 식으로 계산함. 이 PC는 기본값 8GB를 못 비우므로 최소 배치(전문가 0GB, 출력 48 tok/s, 음성 첫 문장 0.64초)로 가고 "게임에 약 4.6GB까지만"(STT 포함)을 표시함. 배치 전환 28~36초. 엔진이 실행 중 줄이기를 지원하면 다시 잼 ([pc-features.md](pc-features.md#측정-결과-m0-gamemode-2026-11-10-rtx-5070-ti-16gb-ryzen-9-9950x3d)) |
|
||||
| PC 프로그램 조작 (agent-desktop) | 게임PC에서 동작 확인: 계산기 12+3=15, 테스트 창 입력칸에 값 넣고 다시 읽기 성공(창을 띄우고 2.9초 뒤 읽힘). 명령 한 번: 찾기 0.18초, 누르기 0.22초, 값 넣기 0.28초. 명령마다 실행 0.10초, 계속 켜 둔 MCP 0.09초라 명령마다 실행 방식으로 정함. 디스코드·탐색기 읽기 시간은 키트가 Windows 프로세스 이름(`Discord.exe`)을 맞추지 못해 재지 못했고, 키트가 띄운 계산기는 `close-app`으로 닫히지 않음(UWP 앱이라 `APP_NOT_FOUND`). 둘 다 고쳐서 `gamemode`와 함께 다시 잼 |
|
||||
| 봇용 크롬창 | 실제 모니터 어디에도 보이지 않게 가상 모니터에 둠(사용자 선택). M0 `vdisplay` 단계는 돌리지 않고, M6에서 함께 넣을 드라이버로 직접 확인 ([pc-features.md](pc-features.md#봇용-크롬창과-디스코드-화면공유)) |
|
||||
|
||||
|
||||
@@ -25,8 +25,8 @@
|
||||
|
||||
| 단계 | 언제 | LLM 배치 (다시 시작 필요) | 다시 시작 없이 바꾸는 것 |
|
||||
|---|---|---|---|
|
||||
| 평소 | 게임이 없고 VRAM이 넉넉함 | 전문가 층을 VRAM에 들어가는 만큼 올림(Strata 자동 배치), 동시 요청 2개, 이미지는 GPU로 읽기 | 화면 캡처 미리 준비(말하는 중), 화질 보통, 지난 대화 약 8천 토큰 |
|
||||
| 게임 중 | 게임을 감지했거나, 다른 프로그램이 VRAM을 써서 남은 VRAM이 "게임용으로 비울 VRAM"보다 적음 | 전문가 층의 VRAM 몫(`--expert-vram`)을 줄여 "게임용으로 비울 VRAM"(기본 8GB)을 비움. 나머지 전문가 층은 RAM에서 CPU로 계산. 동시 요청 1개, 이미지는 CPU로 읽기, 엔진 CPU 작업자는 절반(16코어 PC에서 8개). 전문가 층만으로 모자라면 대화 메모리 형식(`--kv q4_0`), 맥락 길이, MTP 보조 층도 줄임(아래 측정 결과) | 캡처 미리 준비 끔, 화질 빠름(긴 변 768px), 지난 대화 약 4천 토큰 |
|
||||
| 평소 | 게임이 없고 VRAM이 넉넉함 | 전문가 층을 VRAM에 들어가는 만큼 올림(Strata 자동 배치), 이미지는 GPU로 읽기. 동시 요청 수는 [응답 정책](conversation.md#동시-대화-응답-정책-gui에서-선택)을 따름: 모든 요청에 답하는 "들어온 순서대로"이면 2개 이상(이 카드에 맞는 수, 최소 2개), 그 밖의 정책이면 1개(하나씩 보면 더 빠름) | 화면 캡처 미리 준비(말하는 중), 화질 보통, 지난 대화 약 8천 토큰 |
|
||||
| 게임 중 | 게임을 감지했거나, 다른 프로그램이 VRAM을 써서 남은 VRAM이 "게임용으로 비울 VRAM"보다 적음 | 전문가 층의 VRAM 몫(`--expert-vram`)을 줄여 "게임용으로 비울 VRAM"(기본 8GB)을 비움. 나머지 전문가 층은 RAM에서 CPU로 계산. 동시 요청 1개(응답 정책과 상관없이), 이미지는 CPU로 읽기, 엔진 CPU 작업자는 절반(16코어 PC에서 8개), 맥락 16K. 대화 메모리 형식(`--kv`)과 MTP 끄기는 이 엔진에서 VRAM을 줄이지 않아 쓰지 않음(아래 측정 결과) | 캡처 미리 준비 끔, 화질 빠름(긴 변 768px), 지난 대화 약 4천 토큰 |
|
||||
| 일시정지 | 사용자가 켠 경우(기본 꺼짐), 또는 이 PC에서 최소 배치로도 게임 몫을 비울 수 없을 때 | LLM을 멈춤 | 게임 중에는 대답하지 않음 |
|
||||
|
||||
### PC마다 값을 계산
|
||||
@@ -39,6 +39,7 @@
|
||||
### 전환 규칙
|
||||
|
||||
- **게임 시작**: 지금 하던 답이 끝나면 바로 게임 중 배치로 다시 시작합니다. 다시 시작하는 동안(게임PC 측정 31~36초, 컴퓨터를 켠 뒤 첫 시작은 47초) 들어온 요청은 대기열에 두고, 한 번만 "잠깐만요, 게임 모드로 바꾸는 중이에요"라고 말한 뒤 준비되면 답합니다.
|
||||
- **응답 정책을 바꿀 때**: 동시 요청 수가 바뀌는 정책 변경("들어온 순서대로"로 바꾸거나 거기서 다른 정책으로 바꿈)은 LLM을 다시 시작해야 합니다. 게임 시작과 같이 지금 하던 답이 끝난 뒤 다시 시작하고, 그동안 들어온 요청은 대기열에 둡니다. 게임 중에는 다시 시작하지 않고 게임이 끝나 평소 배치로 돌아갈 때 함께 반영합니다.
|
||||
- **되돌리기**: 게임이 끝나고 30초 뒤(설정에서 조절), VRAM 부족은 해소된 상태가 60초 이어진 뒤 평소 배치로 돌아갑니다. 게임을 껐다 바로 다시 켤 때 모델을 반복해서 옮기지 않기 위해서입니다.
|
||||
- **표시**: 대시보드에 "성능 단계: 게임 중 (발로란트 감지)", 전환 중에는 "모델 배치 바꾸는 중"을 표시합니다.
|
||||
- **설정**: GUI에서 바꾸는 것은 게임 감지 켜기/끄기, 게임용으로 비울 VRAM, 되돌리기 대기 시간, 게임 중 일시정지 켜기/끄기뿐입니다.
|
||||
@@ -46,6 +47,8 @@
|
||||
|
||||
### 측정 결과 (M0 `gamemode`, 2026-11-10, RTX 5070 Ti 16GB, Ryzen 9 9950X3D)
|
||||
|
||||
첫 번째 실행:
|
||||
|
||||
| 배치 | 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 모델 VRAM | 게임에 남는 VRAM |
|
||||
|---|---|---|---|---|---|
|
||||
| 평소(동시 2개, 이미지 GPU) | 69.6 / 다시 켠 뒤 75.8 | 0.52초 / 0.47초 | 1.1초 | 13.6GB | 1.1GB |
|
||||
@@ -54,11 +57,27 @@
|
||||
| 전문가 2GB | 73.8 | 0.48초 | 1.1초 | 10.8GB | 4.3GB |
|
||||
| 전문가 2GB, CPU 작업자 8개 | 75.8 | 0.51초 | 1.1초 | 10.8GB | 4.3GB |
|
||||
|
||||
- 전문가 층 VRAM 몫을 2GB까지 줄여도 게임에 8GB를 남기지 못했습니다. 전문가 층 말고도 카드에 남는 몫이 약 8.7GB입니다: 늘 카드에 있는 가중치 4.4GiB, 32K 대화 메모리(int8) 1.43GiB, 긴 프롬프트용 버퍼 1.1GiB, MTP 보조 층(약 1GB), 그 밖의 버퍼.
|
||||
- 그래서 게임 중 배치는 전문가 층과 함께 대화 메모리 형식(q4_0, 절반), 맥락(16K 또는 8K), MTP 보조 층(끄면 약 1GB)도 줄이는 후보로 다시 잽니다. 게임 중에는 지난 대화를 약 4천 토큰만 쓰므로 맥락 8K로도 충분합니다.
|
||||
- CPU 작업자를 16개에서 8개로 줄여도 출력 속도가 줄지 않았습니다(73.8 대 75.8 tok/s). 게임 중에는 8개로 둡니다.
|
||||
- 전문가 층을 줄이는 비용은 작습니다. 2GB에서도 출력 73.8 tok/s, 음성 첫 문장 0.48초로 기준(30 tok/s, 0.7초)보다 훨씬 빠릅니다. 다만 게임이 GPU를 함께 쓸 때 속도는 아직 재지 않았습니다.
|
||||
- 평소 배치(동시 요청 2개)는 Strata가 "16GB 카드에는 1개가 맞음"이라고 경고하고, 전문가 층을 덜 올려서 동시 1개 배치(전문가 6GB)보다 출력이 느렸습니다(69.6 대 97.1 tok/s). 16GB 카드에서 평소 동시 요청 수를 1개로 바꿀지는 따로 정합니다.
|
||||
두 번째 실행(게임 중 후보는 모두 동시 1개, 이미지 CPU, CPU 작업자 8개). 배치 전환은 28~36초:
|
||||
|
||||
| 배치 | 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 모델 VRAM | 게임에 남는 VRAM |
|
||||
|---|---|---|---|---|---|
|
||||
| 평소(동시 2개, 이미지 GPU) | 74.7 / 되돌린 뒤 72.2 | 0.48초 / 0.50초 | 1.1초 | 13.7GB | 1.3GB |
|
||||
| 전문가 2GB, 맥락 32K | 74.9 | 0.51초 | 1.1초 | 10.8GB | 4.3GB |
|
||||
| 전문가 1GB, 맥락 16K (`--kv q4_0`) | 48.2 | 0.64초 | 1.2초 | 9.2GB | 5.9GB |
|
||||
| 위와 같고 `--mtp off` | 48.4 | 0.65초 | 1.1초 | 9.1GB | 5.9GB |
|
||||
| 전문가 0GB, 맥락 16K, `--mtp off` | 48.1 | 0.65초 | 1.1초 | 9.1GB | 5.9GB |
|
||||
| 전문가 0GB, 맥락 8K, `--mtp off` | 48.5 | 0.64초 | 1.1초 | 8.7GB | 6.3GB |
|
||||
|
||||
모델 VRAM은 엔진을 켜기 전에 다른 프로그램이 쓰던 VRAM(약 1.3GB)을 뺀 값입니다. STT는 켜지 않고 쟀습니다.
|
||||
|
||||
- **16GB 카드에서는 게임에 8GB를 비울 수 없습니다.** 가장 많이 비운 배치(전문가 0GB, 맥락 8K)도 모델이 8.7GB를 쓰고, 다른 프로그램이 1.3GB를 써서 게임 몫은 6.3GB였습니다. 늘 카드에 남는 것은 가중치 4.4GiB, 긴 프롬프트용 버퍼 1.1GiB, 맥락 길이만큼의 대화 메모리, 그 밖의 버퍼입니다.
|
||||
- **`--kv`와 `--mtp off`는 VRAM을 줄이지 않습니다.** Strata 0.1.59 qwen36 엔진 소스(`src/qwen35/q36_engine.cu`)를 보면, 이 엔진은 `--kv`를 받지 않고 대화 메모리를 맥락 길이만큼 정해진 형식으로 잡습니다. MTP 블록도 `--mtp off`와 상관없이 늘 올리고, 끄면 미리 맞히기만 멈춥니다(Strata 도움말의 "약 1GB 덜 씀"은 이 엔진에 맞지 않음). 측정값도 같습니다.
|
||||
- **전문가 몫에는 긴 프롬프트용 버퍼 1.1GiB가 먼저 들어갑니다.** 그래서 1GB로 주면 전문가가 하나도 올라가지 않아 0GB와 같고, 2GB에서 층마다 256개 중 12개(0.88GiB)가 올라갑니다. 이 12개가 속도를 크게 바꿉니다: 출력 75 대 48 tok/s, 음성 첫 문장 0.51 대 0.64초. 둘 다 기준(30 tok/s, 0.7초) 안이지만, 0GB는 기준에 가깝습니다.
|
||||
- **맥락을 줄이면** 32K→16K에서 약 0.7GB, 16K→8K에서 약 0.4GB가 줄고 속도는 같습니다. 게임 중 맥락은 16K로 둡니다. 지난 대화 약 4천 토큰에 지시문, 도구 설명, 화면 이미지, 검색 결과가 더해지면 8K는 넘칠 수 있어서, 0.4GB를 위해 8K를 쓰지 않습니다.
|
||||
- **이 PC의 게임 중 배치**: 기본값 8GB는 비울 수 없으므로 [몫이 최소 배치보다 작을 때](#pc마다-값을-계산) 규칙대로 최소 배치(전문가 0GB, 맥락 16K)로 갑니다. 게임 몫은 LLM만 놓고 5.9GB이고, STT(약 1.3GB)를 GPU에 두면 약 4.6GB입니다. 그래서 "이 PC에서는 게임에 약 4.6GB까지만 비울 수 있음"을 표시합니다. 게임용으로 비울 VRAM을 약 3.7GB 이하로 정하면 같은 식으로 전문가 2GB 배치가 되어 출력이 약 75 tok/s로 돌아옵니다(3.7GB는 아래 "아직 재지 않은 것"의 추정값).
|
||||
- **CPU 작업자**를 16개에서 8개로 줄여도 출력 속도가 줄지 않았습니다(73.8 대 75.8 tok/s). 게임 중에는 8개로 둡니다.
|
||||
- **아직 재지 않은 것**: 게임이 GPU를 함께 쓸 때의 속도, 전문가 2GB에 맥락 16K인 배치(추정 게임 몫 약 5.0GB, LLM만 놓고).
|
||||
- **평소 동시 요청 수**: 동시 2개는 Strata가 "16GB 카드에는 1개가 맞음"이라고 경고하고, 전문가 층을 덜 올려서 동시 1개 배치(전문가 6GB)보다 출력이 느렸습니다(69.6~74.7 대 97.1 tok/s). 그래서 평소에는 1개로 두고, 모든 요청에 답하는 "들어온 순서대로" 정책일 때만 2개 이상으로 합니다(사용자 결정, 2026-11-10).
|
||||
|
||||
## 화면 보기: 전체 화면, 모니터별, 프로그램(창)별
|
||||
|
||||
|
||||
Reference in New Issue
Block a user