fix(m0): pace STT partials only in the game placement
User decision (2026-11-10): without a game the STT keeps every partial pass while the LLM answers. gamemode_tune now measures the normal placement with the STT room and back-to-back STT only, and paces the 2 GB game placement (back to back as the same-run baseline, every 2 s, finals only). Docs say the slowdown applies in game mode only. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -37,7 +37,7 @@ LLM 단계는 8080 포트를 씁니다. 다른 프로그램이 이 포트를 쓰
|
||||
| PC 제어 도구 | agent-desktop으로 계산기 버튼을 눌러 12+3=15가 나오는지, 테스트용 브라우저 창(새 임시 프로필)의 입력칸에 글자를 넣고 다시 읽히는지, 디스코드·탐색기 화면을 읽는 시간, 계속 켜 두는 방식(MCP)과 매번 실행하는 방식의 명령 한 번 시간 |
|
||||
| 게임 중 자동 조절 | 이미 받은 Qwen3.6-35B-A3B를 평소 배치(동시 1개)와 게임 중 배치 3개(전문가 층 2GB 맥락 32K, 2GB 맥락 16K, 0GB 맥락 16K)로 차례로 다시 시작해서, 배치마다 전환 시간, 남는 VRAM, 출력 속도, 음성 첫 문장, 맥락 8천 토큰 첫 토큰 시간을 잽니다. 마지막에 평소 배치로 한 번 더 켜서 되돌리는 시간도 잽니다 |
|
||||
| LLM과 음성 인식 함께 | 음성 인식(STT)을 먼저 켜 두고 LLM을 평소 배치(동시 1개, 2개)와 게임 중 배치(전문가 2GB·0GB, 맥락 16K)로 켭니다. LLM을 재는 동안 음성 인식은 10명 동시 전사를 계속 돌립니다. 게임 중 배치는 음성 인식을 GPU에 둔 경우와 CPU에 둔 경우를 둘 다 잽니다. 배치마다 남는 VRAM, LLM 속도, 10명 동시 전사 시간, 한 사람 전사 시간을 적습니다 |
|
||||
| STT 자리와 부분 전사 간격 | 평소 배치를 STT 자리를 남긴 전문가 층 몫으로 켜고, STT를 쉬지 않고 돌릴 때, 부분 전사를 2초마다 할 때, 부분 전사 없이 최종 전사만 할 때를 잽니다. 게임 중 배치(전문가 2GB)도 뒤의 두 경우를 잽니다. 배치마다 남는 VRAM, LLM 속도, 최종 전사 시간과 기다린 시간, STT가 GPU를 쓴 비율을 적습니다 |
|
||||
| STT 자리와 부분 전사 간격 | 평소 배치를 STT 자리를 남긴 전문가 층 몫으로 켜고 STT를 쉬지 않고 돌리며 잽니다. 게임 중 배치(전문가 2GB)는 STT를 쉬지 않고 돌릴 때, 부분 전사를 2초마다 할 때, 부분 전사 없이 최종 전사만 할 때를 잽니다(게임은 켜지 않음). 배치마다 남는 VRAM, LLM 속도, 최종 전사 시간과 기다린 시간, STT가 GPU를 쓴 비율을 적습니다 |
|
||||
|
||||
## 개인정보
|
||||
|
||||
@@ -68,7 +68,7 @@ LLM 단계는 8080 포트를 씁니다. 다른 프로그램이 이 포트를 쓰
|
||||
|
||||
`run_m0_gamemode.bat`을 더블클릭하면 게임 중 자동 조절 단계 두 개(`gamemode`, `gamemode_stt`)만 돕니다. 먼저 LLM만 배치 5개(평소, 게임 중 후보 3개, 다시 평소)로 재고, 이어서 음성 인식을 함께 켠 배치 6개를 잽니다. 모델은 이미 받아 둔 것을 쓰므로 새로 받지 않고(음성 인식 모델을 아직 안 받았으면 약 1.6GB를 받습니다), 20~30분 걸립니다. 그동안 게임이나 무거운 프로그램은 꺼 두시고 PC에 손대지 않으시면 됩니다.
|
||||
|
||||
`run_m0_gamemode_tune.bat`을 더블클릭하면 `gamemode_tune` 단계만 돕니다. 앞 측정에서 정한 두 가지를 확인합니다. (1) 평소 배치에 음성 인식(STT) 자리를 남겼을 때의 속도와 첫 토큰 시간입니다. LLM을 전문가 층 없이 한 번 켜서 기본 VRAM을 재고, STT가 10명 동시 전사 때 더 쓰는 VRAM과 여유분을 뺀 나머지를 전문가 층에 줍니다. (2) LLM이 답하는 동안 부분 전사를 2초마다 하거나 멈추고 최종 전사만 바로 할 때, LLM 속도와 최종 전사가 기다린 시간입니다. 평소 배치와 게임 중 배치(전문가 2GB)에서 잽니다. 이미 받은 모델을 쓰고 15~20분 걸립니다. 그동안 게임이나 무거운 프로그램은 꺼 두시고 PC에 손대지 않으시면 됩니다.
|
||||
`run_m0_gamemode_tune.bat`을 더블클릭하면 `gamemode_tune` 단계만 돕니다. 앞 측정에서 정한 두 가지를 확인합니다. (1) 평소 배치에 음성 인식(STT) 자리를 남겼을 때의 속도와 첫 토큰 시간입니다. LLM을 전문가 층 없이 한 번 켜서 기본 VRAM을 재고, STT가 10명 동시 전사 때 더 쓰는 VRAM과 여유분을 뺀 나머지를 전문가 층에 줍니다. (2) 게임 중 배치(전문가 2GB)에서 LLM이 답하는 동안 부분 전사를 2초마다 하거나 멈추고 최종 전사만 바로 할 때, LLM 속도와 최종 전사가 기다린 시간입니다. 게임이 없을 때는 부분 전사를 줄이지 않으므로 평소 배치는 이 비교를 하지 않습니다. 게임은 켜지 않고 잽니다. 이미 받은 모델을 쓰고 10~15분 걸립니다. 그동안 게임이나 무거운 프로그램은 꺼 두시고 PC에 손대지 않으시면 됩니다.
|
||||
|
||||
`run_m0_game_live.bat`을 더블클릭하면 실제 게임을 켠 상태로 잽니다(`gamemode_live`). 게임을 창 모드로 켜고 플레이 화면까지 들어간 뒤 Enter를 누르고 15초 안에 게임으로 돌아가면 됩니다. 게임 중 배치 4개(전문가 2GB·0GB, 음성 인식 GPU·CPU)를 차례로 재고 10~15분 걸리며, 끝나면 알림음이 울립니다. 게임 화면이나 게임 이름은 저장하지 않고 VRAM 사용량과 속도만 적습니다. 그래픽 메모리를 많이 쓰는 게임이면 배치가 켜지지 않을 수 있는데, 그것도 결과로 적습니다.
|
||||
|
||||
|
||||
@@ -10,8 +10,8 @@ Options (--opt key=value):
|
||||
only=together the same with the STT loaded next to it and transcribing ten
|
||||
speakers at once, on the GPU and on the CPU (needs stt_python=)
|
||||
only=live game placements and the STT while the user runs a real game
|
||||
only=tune the normal placement with room left for the STT, and the STT
|
||||
doing fewer partial passes while the LLM answers
|
||||
only=tune the normal placement with room left for the STT, and in the game
|
||||
placement the STT doing fewer partial passes while the LLM answers
|
||||
stt_python=PATH the Python of the stt venv (m0.py passes it)
|
||||
"""
|
||||
|
||||
@@ -106,8 +106,10 @@ LIVE = [lv for lv in TOGETHER if lv["key"].startswith("game_")]
|
||||
# measures: one start without experts (with the STT loaded) gives what the LLM needs before any
|
||||
# expert; the experts get what is left after the STT's ten-speaker growth and a margin.
|
||||
# - The STT's partial passes took the GPU from the LLM (output 1/2.5 to 1/3). "stt_pace" is what
|
||||
# the app would do while the LLM answers: a ten-speaker partial pass every 2 s, or none, and the
|
||||
# finals at once. The LLM is measured the whole time, so the pace holds for the whole run.
|
||||
# the app would do in a game while the LLM answers: a ten-speaker partial pass every 2 s, or
|
||||
# none, and the finals at once. The LLM is measured the whole time, so the pace holds for the
|
||||
# whole run. Without a game the STT keeps every partial (user decision), so only the game
|
||||
# placement is paced; its back-to-back row is the baseline measured in the same run.
|
||||
# The 2 GB expert placement is the game minimum on a 16 GB card (faster than 0 GB in a real game).
|
||||
STT_ROOM_MARGIN_MIB = 768 # what Strata's qwen36 engine itself keeps free when it places experts
|
||||
STT_GROWTH_FALLBACK_MIB = 1440 # M0 stt on the game PC: ten speakers at once over the loaded model
|
||||
@@ -116,8 +118,7 @@ _FINALS_ONLY = {"partial_every": None, "final_every": 0.5}
|
||||
_ROOM = {"parallel": 1, "vision": "gpu", "sets": ["prefill=2048"], "stt": "cuda", "stt_room": True}
|
||||
TUNED = [
|
||||
{"key": "normal_stt_room_stt_gpu", **_ROOM},
|
||||
{"key": "normal_stt_room_partial_2s", **_ROOM, "stt_pace": _PARTIAL_2S},
|
||||
{"key": "normal_stt_room_finals_only", **_ROOM, "stt_pace": _FINALS_ONLY},
|
||||
{"key": "game_experts_2g_16k_stt_gpu", **_GAME, "context": 16384, "sets": _EXP2, "stt": "cuda"},
|
||||
{"key": "game_experts_2g_16k_partial_2s", **_GAME, "context": 16384, "sets": _EXP2, "stt": "cuda",
|
||||
"stt_pace": _PARTIAL_2S},
|
||||
{"key": "game_experts_2g_16k_finals_only", **_GAME, "context": 16384, "sets": _EXP2, "stt": "cuda",
|
||||
|
||||
Reference in New Issue
Block a user