M0 on Strata caught both v2 models skipping a tool they had been given: the recommended model made up "24 degrees, sunny" instead of calling the weather tool, and the fast model said "timer set" without calling the timer tool (3 of 3 each). qwen2.5:7b does the same through the engine. - Prompt: TOOL_HONESTY_RULES in the persona (live facts only from a tool result this turn, actions only claimed after a tool reports success, no answer text next to a tool call), restated at the end of the system message by tool_honesty_reminder() with the turn's real tool names. - Engine: skipped-tool guard. When a native-tool model answers before any tool has run and the plan names a callable tool as a concrete call, the answer is dropped and the plan steps are direct-executed, then the model answers from the results. Only literal, schema-valid steps run (regex fast path, no LLM repair); otherwise the held-back answer is delivered. - Planner: the AVAILABLE TOOLS lines now carry argument names (planner_tool_catalog), so concrete steps use the tool's real keys. - Eval evals/test_tool_skip_confabulation.py; on qwen2.5:7b, 3 runs each, available-tool cases went from 0/12 to 9/12 calling the tool. - M0 kit: tools_fast / tools_recommended stages (run_m0_tools.bat) rerun tool calling before and after the fix on the real models, loading the production system_prompt.py and planner.py. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
M0 측정 키트 (게임PC 사전 검증)
v2 기본값을 정하려고 게임PC에서 한 번 실행하는 측정 스크립트입니다. 결과는 zip 파일 하나로 나오고, 그 파일을 디스코드로 보내 주시면 됩니다.
실행 방법
- 이 폴더(
jarvis_m0)를 남은 공간이 가장 많은 드라이브에 풀어 둡니다. 예:D:\jarvis_m0- 작업 폴더는 같은 드라이브의
\JarvisM0(예:D:\JarvisM0)에 만들어집니다. - LLM 모델 두 개를 받으므로 약 150GB가 필요합니다. 빠름 모델만 재면 약 50GB입니다.
- 작업 폴더는 같은 드라이브의
run_m0.bat을 더블클릭합니다.- Windows가 "PC 보호" 경고를 띄우면 "추가 정보 → 실행"을 누릅니다.
- 처음 몇 분은 화면 안내에 따라 직접 답해 주셔야 합니다(y/n). 디스코드 앱을 켜 두세요.
- "이제 자리를 비우셔도 됩니다"가 나오면 그 뒤는 자동입니다. 모델 다운로드 때문에 몇 시간 걸릴 수 있습니다. 측정이 끝날 때까지 게임과 무거운 프로그램은 꺼 두세요.
- 끝나면
jarvis_m0폴더에M0_results_날짜_시각.zip이 생기고 탐색기에서 그 파일이 선택됩니다. 이 파일을 보내 주세요.
중간에 꺼져도 run_m0.bat을 다시 실행하면 끝난 단계는 건너뛰고 이어서 합니다. 실패한 단계는 다시 시도합니다.
LLM 단계는 8080 포트를 씁니다. 다른 프로그램이 이 포트를 쓰고 있으면 그 단계는 실패로 기록되니, 그 프로그램을 끄고 다시 실행해 주세요.
직접 답하는 부분
| 확인 | 하실 일 |
|---|---|
| 봇용 창 숨김 | 시계가 움직이는 테스트 창이 뜹니다. Alt+Tab, 작업 표시줄, 디스코드 "화면 공유 → 창" 목록에 보이는지 답합니다. |
| 가상 모니터 | 이미 설치된 Parsec 가상 디스플레이로 모니터를 잠시 하나 만들고 시계 창을 그리로 옮깁니다. 실제 모니터와 Alt+Tab에 보이는지, 디스코드 "화면 공유 → 화면" 탭에 그 모니터가 나오는지, 마우스가 그쪽으로 넘어가는지 답합니다. 끝나면 가상 모니터는 사라지고 아무것도 설치하지 않습니다. |
| 디스코드 창 분리 | 친구(또는 다른 기기의 내 계정)의 화면공유를 시청하고 "창 분리(팝아웃)"를 누릅니다. 지금 할 수 없으면 s로 건너뜁니다. |
| 게임 감지 | 게임을 하나 켜고(테두리 없는 창 모드면 가장 좋음), 안티치트 게임이 있으면 그것도 켭니다. 마지막으로 브라우저 영상을 전체화면으로 틉니다. 각각 Enter 후 15초 안에 그 화면으로 바꾸면 됩니다. |
자동으로 재는 것
| 단계 | 내용 |
|---|---|
| PC 정보 | GPU, 드라이버, CPU, RAM, 디스크, 모니터 |
| MeloTTS | 한국어 문장 합성 시간, VRAM |
| CosyVoice2 / CosyVoice3 | 한국어 첫 소리까지 시간, 합성 속도, VRAM |
| STT | faster-whisper large-v3-turbo의 전사 시간, 정확도, 말하는 중 부분 전사, 10명 동시 처리 |
| LLM 빠름 / 권장 | Strata로 Qwen3.6-35B-A3B(약 23GB)와 Qwen3.8-Flash-Next Q2_0(약 66GB)을 받아서 첫 토큰 시간(맥락 길이별), 생성 속도, 도구 호출, 이미지 읽기(화질 단계별), 한국어 답변, 동시 요청, 게임 모드용 VRAM 비우기와 모델 다시 시작·전환 시간 |
개인정보
- 모든 측정은 PC 안에서 합니다. 인터넷은 프로그램과 모델을 받을 때만 씁니다.
- 결과 파일에서 사용자 이름, 컴퓨터 이름, 사용자 폴더 경로는 가립니다.
- 다른 프로그램의 창 제목은 저장하지 않습니다. 디스코드 분리 창 제목은 저장해도 되는지 물어본 뒤에만 넣습니다.
- 게임 감지는 실행 중인 프로그램 이름과 창 모양만 봅니다. 게임 화면은 저장하지 않습니다. 설치된 게임은 이름과 안티치트 유무만 기록합니다.
- 음성 테스트는 키트에 들어 있는 합성 음성만 씁니다. 마이크는 쓰지 않습니다.
옵션 (PowerShell에서 직접 실행할 때)
.\run_m0.ps1 -WorkDir E:\JarvisM0 # 작업 폴더 위치 지정
.\run_m0.ps1 -Skip llm_recommended # 권장 모델(66GB) 빼고 실행
.\run_m0.ps1 -Only stt,tts_melo -Redo # 특정 단계만 다시
단계 이름: sysinfo, winchecks, vdisplay, tts_melo, tts_cosy2, tts_cosy3, stt, llm_fast, llm_recommended, tools_fast, tools_recommended
tools_fast, tools_recommended는 도구 호출만 다시 잽니다. 처음과 같은 방식(고치기 전)과, 자비스의 수정(지시문 규칙, 계획 단계, 건너뛴 도구 직접 실행)을 넣은 방식을 같은 모델로 비교합니다. 이미 받은 모델을 쓰므로 다운로드는 없고, 모델 하나에 몇 분이면 끝납니다.
run_m0_tools.bat을 더블클릭하면 이 두 단계만 돌고 결과 zip이 만들어집니다. 직접 답하실 부분은 없습니다.
다 끝나고 필요 없으면 작업 폴더(\JarvisM0)를 통째로 지우면 됩니다. Python, 모델, Strata(엔진과 설정 포함)는 모두 그 안에 설치하도록 지정해 두었습니다.