The gamemode_stt run showed Strata's automatic placement filling the card next to the STT (15.9 of 16.3 GB, first token 1.6 -> 7.5 s) and the STT's back-to-back partial passes cutting LLM output to a third. The new gamemode_tune stage measures both fixes the user chose: - stt_room: one start without experts (STT loaded) gives the LLM's base VRAM; --expert-vram gets what is left after the STT's ten-speaker growth (from this PC's stt stage) and a 768 MiB margin. - stt_pace: a ten-speaker partial pass every 2 s, or none, with finals every 0.5 s and finals first; records final wait and STT GPU share. run_m0_gamemode_tune.bat runs it unattended. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
10 KiB
M0 측정 키트 (게임PC 사전 검증)
v2 기본값을 정하려고 게임PC에서 한 번 실행하는 측정 스크립트입니다. 결과는 zip 파일 하나로 나오고, 그 파일을 디스코드로 보내 주시면 됩니다.
실행 방법
- 이 폴더(
jarvis_m0)를 남은 공간이 가장 많은 드라이브에 풀어 둡니다. 예:D:\jarvis_m0- 작업 폴더는 같은 드라이브의
\JarvisM0(예:D:\JarvisM0)에 만들어집니다. - LLM 모델 두 개를 받으므로 약 150GB가 필요합니다. 빠름 모델만 재면 약 50GB입니다.
- 작업 폴더는 같은 드라이브의
run_m0.bat을 더블클릭합니다.- Windows가 "PC 보호" 경고를 띄우면 "추가 정보 → 실행"을 누릅니다.
- 처음 몇 분은 화면 안내에 따라 직접 답해 주셔야 합니다(y/n). 디스코드 앱을 켜 두세요.
- "이제 자리를 비우셔도 됩니다"가 나오면 그 뒤는 자동입니다. 모델 다운로드 때문에 몇 시간 걸릴 수 있습니다. 측정이 끝날 때까지 게임과 무거운 프로그램은 꺼 두세요.
- 끝나면
jarvis_m0폴더에M0_results_날짜_시각.zip이 생기고 탐색기에서 그 파일이 선택됩니다. 이 파일을 보내 주세요.
중간에 꺼져도 run_m0.bat을 다시 실행하면 끝난 단계는 건너뛰고 이어서 합니다. 실패한 단계는 다시 시도합니다.
LLM 단계는 8080 포트를 씁니다. 다른 프로그램이 이 포트를 쓰고 있으면 그 단계는 실패로 기록되니, 그 프로그램을 끄고 다시 실행해 주세요.
직접 답하는 부분
| 확인 | 하실 일 |
|---|---|
| 봇용 창 숨김 | 시계가 움직이는 테스트 창이 뜹니다. Alt+Tab, 작업 표시줄, 디스코드 "화면 공유 → 창" 목록에 보이는지 답합니다. |
| 가상 모니터 | 이미 설치된 Parsec 가상 디스플레이로 모니터를 잠시 하나 만들고 시계 창을 그리로 옮깁니다. 실제 모니터와 Alt+Tab에 보이는지, 디스코드 "화면 공유 → 화면" 탭에 그 모니터가 나오는지, 마우스가 그쪽으로 넘어가는지 답합니다. 끝나면 가상 모니터는 사라지고 아무것도 설치하지 않습니다. |
| 디스코드 창 분리 | 친구(또는 다른 기기의 내 계정)의 화면공유를 시청하고 "창 분리(팝아웃)"를 누릅니다. 지금 할 수 없으면 s로 건너뜁니다. |
| 게임 감지 | 게임을 하나 켜고(테두리 없는 창 모드면 가장 좋음), 안티치트 게임이 있으면 그것도 켭니다. 마지막으로 브라우저 영상을 전체화면으로 틉니다. 각각 Enter 후 15초 안에 그 화면으로 바꾸면 됩니다. |
자동으로 재는 것
| 단계 | 내용 |
|---|---|
| PC 정보 | GPU, 드라이버, CPU, RAM, 디스크, 모니터 |
| MeloTTS | 한국어 문장 합성 시간, VRAM |
| CosyVoice2 / CosyVoice3 | 한국어 첫 소리까지 시간, 합성 속도, VRAM |
| STT | faster-whisper large-v3-turbo의 전사 시간, 정확도, 말하는 중 부분 전사, 10명 동시 처리 |
| LLM 빠름 / 권장 | Strata로 Qwen3.6-35B-A3B(약 23GB)와 Qwen3.8-Flash-Next Q2_0(약 66GB)을 받아서 첫 토큰 시간(맥락 길이별), 생성 속도, 도구 호출, 이미지 읽기(화질 단계별), 한국어 답변, 동시 요청, 게임 모드용 VRAM 비우기와 모델 다시 시작·전환 시간 |
| PC 제어 도구 | agent-desktop으로 계산기 버튼을 눌러 12+3=15가 나오는지, 테스트용 브라우저 창(새 임시 프로필)의 입력칸에 글자를 넣고 다시 읽히는지, 디스코드·탐색기 화면을 읽는 시간, 계속 켜 두는 방식(MCP)과 매번 실행하는 방식의 명령 한 번 시간 |
| 게임 중 자동 조절 | 이미 받은 Qwen3.6-35B-A3B를 평소 배치(동시 1개)와 게임 중 배치 3개(전문가 층 2GB 맥락 32K, 2GB 맥락 16K, 0GB 맥락 16K)로 차례로 다시 시작해서, 배치마다 전환 시간, 남는 VRAM, 출력 속도, 음성 첫 문장, 맥락 8천 토큰 첫 토큰 시간을 잽니다. 마지막에 평소 배치로 한 번 더 켜서 되돌리는 시간도 잽니다 |
| LLM과 음성 인식 함께 | 음성 인식(STT)을 먼저 켜 두고 LLM을 평소 배치(동시 1개, 2개)와 게임 중 배치(전문가 2GB·0GB, 맥락 16K)로 켭니다. LLM을 재는 동안 음성 인식은 10명 동시 전사를 계속 돌립니다. 게임 중 배치는 음성 인식을 GPU에 둔 경우와 CPU에 둔 경우를 둘 다 잽니다. 배치마다 남는 VRAM, LLM 속도, 10명 동시 전사 시간, 한 사람 전사 시간을 적습니다 |
| STT 자리와 부분 전사 간격 | 평소 배치를 STT 자리를 남긴 전문가 층 몫으로 켜고, STT를 쉬지 않고 돌릴 때, 부분 전사를 2초마다 할 때, 부분 전사 없이 최종 전사만 할 때를 잽니다. 게임 중 배치(전문가 2GB)도 뒤의 두 경우를 잽니다. 배치마다 남는 VRAM, LLM 속도, 최종 전사 시간과 기다린 시간, STT가 GPU를 쓴 비율을 적습니다 |
개인정보
- 모든 측정은 PC 안에서 합니다. 인터넷은 프로그램과 모델을 받을 때만 씁니다.
- 결과 파일에서 사용자 이름, 컴퓨터 이름, 사용자 폴더 경로는 가립니다.
- 다른 프로그램의 창 제목은 저장하지 않습니다. 디스코드 분리 창 제목은 저장해도 되는지 물어본 뒤에만 넣습니다.
- 게임 감지는 실행 중인 프로그램 이름과 창 모양만 봅니다. 게임 화면은 저장하지 않습니다. 설치된 게임은 이름과 안티치트 유무만 기록합니다.
- 음성 테스트는 키트에 들어 있는 합성 음성만 씁니다. 마이크는 쓰지 않습니다.
- PC 제어 도구 단계는 다른 프로그램의 창 제목과 화면 글자를 저장하지 않습니다. 개수, 걸린 시간, 오류 코드, 계산기 결과 숫자만 저장합니다. 이미 켜 둔 계산기가 있으면 건드리지 않고 그 확인을 건너뛰며, 브라우저는 평소 쓰시는 프로필이 아닌 새 임시 프로필로 엽니다.
옵션 (PowerShell에서 직접 실행할 때)
.\run_m0.ps1 -WorkDir E:\JarvisM0 # 작업 폴더 위치 지정
.\run_m0.ps1 -Skip llm_recommended # 권장 모델(66GB) 빼고 실행
.\run_m0.ps1 -Only stt,tts_melo -Redo # 특정 단계만 다시
단계 이름: sysinfo, winchecks, vdisplay, tts_melo, tts_cosy2, tts_cosy3, stt, llm_fast, llm_recommended, tools_fast, tools_recommended, desktop, gamemode, gamemode_stt, gamemode_tune, gamemode_live(이 단계는 -Only로 고를 때만 돕니다)
tools_fast, tools_recommended는 도구 호출만 다시 잽니다. 처음과 같은 방식(고치기 전)과, 자비스의 수정(지시문 규칙, 계획 단계, 건너뛴 도구 직접 실행)을 넣은 방식을 같은 모델로 비교합니다. 이미 받은 모델을 쓰므로 모델 하나에 몇 분이면 끝납니다.
통과 기준은 도구를 맞게 부르는 것만이 아닙니다. 마지막 답이 도구 결과(예: 13도)를 그대로 말해야 하고, 할 수 있는 도구가 없는 부탁(거실 불 끄기, 타이머 도구를 빼고 하는 타이머 부탁)에는 못 한다고만 답해야 합니다. 숫자는 정확히 같아야 하고(5분인데 15분이면 실패), 비 소식이 도구 결과와 어긋나거나 못 한다면서 "껐습니다"를 섞어도 실패입니다. 수정을 넣고도 이 중 하나라도 틀리면, 같은 계열에서 덜 압축된 모델을 받아서 이어서 잽니다. 빠름은 Qwen3.6-35B-A3B UD-Q6_K_XL(약 33GB), 그다음 Q8_0(약 38GB) 순서이고, 권장은 Qwen3.8-Flash-Next IQ3_XXS, 그다음 IQ3_S 순서입니다. 통과하는 모델이 나오면 거기서 멈춥니다. 이때는 내려받느라 몇 시간 걸릴 수 있고, 디스크 공간이 모자란 모델은 건너뜁니다.
run_m0_tools.bat을 더블클릭하면 이 두 단계만 돌고 결과 zip이 만들어집니다. 직접 답하실 부분은 없습니다.
run_m0_desktop.bat을 더블클릭하면 PC 제어 도구 단계(desktop)만 돕니다. agent-desktop(약 2MB)을 작업 폴더에 받아 쓰고, 1~2분이면 끝납니다. 계산기와 테스트용 브라우저 창이 잠깐 떴다가 닫히니 그동안 손대지 않으시면 됩니다. 입력칸이 값 넣기를 지원하지 않으면 키 입력으로 넣는데, 이때는 그 창이 잠깐 앞으로 나옵니다.
run_m0_gamemode.bat을 더블클릭하면 게임 중 자동 조절 단계 두 개(gamemode, gamemode_stt)만 돕니다. 먼저 LLM만 배치 5개(평소, 게임 중 후보 3개, 다시 평소)로 재고, 이어서 음성 인식을 함께 켠 배치 6개를 잽니다. 모델은 이미 받아 둔 것을 쓰므로 새로 받지 않고(음성 인식 모델을 아직 안 받았으면 약 1.6GB를 받습니다), 20~30분 걸립니다. 그동안 게임이나 무거운 프로그램은 꺼 두시고 PC에 손대지 않으시면 됩니다.
run_m0_gamemode_tune.bat을 더블클릭하면 gamemode_tune 단계만 돕니다. 앞 측정에서 정한 두 가지를 확인합니다. (1) 평소 배치에 음성 인식(STT) 자리를 남겼을 때의 속도와 첫 토큰 시간입니다. LLM을 전문가 층 없이 한 번 켜서 기본 VRAM을 재고, STT가 10명 동시 전사 때 더 쓰는 VRAM과 여유분을 뺀 나머지를 전문가 층에 줍니다. (2) LLM이 답하는 동안 부분 전사를 2초마다 하거나 멈추고 최종 전사만 바로 할 때, LLM 속도와 최종 전사가 기다린 시간입니다. 평소 배치와 게임 중 배치(전문가 2GB)에서 잽니다. 이미 받은 모델을 쓰고 15~20분 걸립니다. 그동안 게임이나 무거운 프로그램은 꺼 두시고 PC에 손대지 않으시면 됩니다.
run_m0_game_live.bat을 더블클릭하면 실제 게임을 켠 상태로 잽니다(gamemode_live). 게임을 창 모드로 켜고 플레이 화면까지 들어간 뒤 Enter를 누르고 15초 안에 게임으로 돌아가면 됩니다. 게임 중 배치 4개(전문가 2GB·0GB, 음성 인식 GPU·CPU)를 차례로 재고 10~15분 걸리며, 끝나면 알림음이 울립니다. 게임 화면이나 게임 이름은 저장하지 않고 VRAM 사용량과 속도만 적습니다. 그래픽 메모리를 많이 쓰는 게임이면 배치가 켜지지 않을 수 있는데, 그것도 결과로 적습니다.
다 끝나고 필요 없으면 작업 폴더(\JarvisM0)를 통째로 지우면 됩니다. Python, 모델, Strata(엔진과 설정 포함)는 모두 그 안에 설치하도록 지정해 두었습니다.