Files
javis_bot/scripts/m0
javis-bot 5da88bdcbb fix(m0): judge the final answer against the tool result, not by substring
The tools stage decides whether to keep a model or measure the next one,
so a made-up answer must never pass. Each case now has a judge for the
spoken answer: numbers must match exactly with their unit (15 or 50
minutes fail a 5-minute timer), weather answers must agree with the rain
in the result and give no other temperature, and a refusal fails when it
also says the thing was done. A new case asks for a timer with no timer
tool offered, the shape Jarvis has today. Unit tests cover the reviewer's
counterexamples and that a lying model makes the stage move on to the
next candidate.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-10 15:25:29 +09:00
..

M0 측정 키트 (게임PC 사전 검증)

v2 기본값을 정하려고 게임PC에서 한 번 실행하는 측정 스크립트입니다. 결과는 zip 파일 하나로 나오고, 그 파일을 디스코드로 보내 주시면 됩니다.

실행 방법

  1. 이 폴더(jarvis_m0)를 남은 공간이 가장 많은 드라이브에 풀어 둡니다. 예: D:\jarvis_m0
    • 작업 폴더는 같은 드라이브의 \JarvisM0(예: D:\JarvisM0)에 만들어집니다.
    • LLM 모델 두 개를 받으므로 약 150GB가 필요합니다. 빠름 모델만 재면 약 50GB입니다.
  2. run_m0.bat을 더블클릭합니다.
    • Windows가 "PC 보호" 경고를 띄우면 "추가 정보 → 실행"을 누릅니다.
  3. 처음 몇 분은 화면 안내에 따라 직접 답해 주셔야 합니다(y/n). 디스코드 앱을 켜 두세요.
  4. "이제 자리를 비우셔도 됩니다"가 나오면 그 뒤는 자동입니다. 모델 다운로드 때문에 몇 시간 걸릴 수 있습니다. 측정이 끝날 때까지 게임과 무거운 프로그램은 꺼 두세요.
  5. 끝나면 jarvis_m0 폴더에 M0_results_날짜_시각.zip이 생기고 탐색기에서 그 파일이 선택됩니다. 이 파일을 보내 주세요.

중간에 꺼져도 run_m0.bat을 다시 실행하면 끝난 단계는 건너뛰고 이어서 합니다. 실패한 단계는 다시 시도합니다. LLM 단계는 8080 포트를 씁니다. 다른 프로그램이 이 포트를 쓰고 있으면 그 단계는 실패로 기록되니, 그 프로그램을 끄고 다시 실행해 주세요.

직접 답하는 부분

확인 하실 일
봇용 창 숨김 시계가 움직이는 테스트 창이 뜹니다. Alt+Tab, 작업 표시줄, 디스코드 "화면 공유 → 창" 목록에 보이는지 답합니다.
가상 모니터 이미 설치된 Parsec 가상 디스플레이로 모니터를 잠시 하나 만들고 시계 창을 그리로 옮깁니다. 실제 모니터와 Alt+Tab에 보이는지, 디스코드 "화면 공유 → 화면" 탭에 그 모니터가 나오는지, 마우스가 그쪽으로 넘어가는지 답합니다. 끝나면 가상 모니터는 사라지고 아무것도 설치하지 않습니다.
디스코드 창 분리 친구(또는 다른 기기의 내 계정)의 화면공유를 시청하고 "창 분리(팝아웃)"를 누릅니다. 지금 할 수 없으면 s로 건너뜁니다.
게임 감지 게임을 하나 켜고(테두리 없는 창 모드면 가장 좋음), 안티치트 게임이 있으면 그것도 켭니다. 마지막으로 브라우저 영상을 전체화면으로 틉니다. 각각 Enter 후 15초 안에 그 화면으로 바꾸면 됩니다.

자동으로 재는 것

단계 내용
PC 정보 GPU, 드라이버, CPU, RAM, 디스크, 모니터
MeloTTS 한국어 문장 합성 시간, VRAM
CosyVoice2 / CosyVoice3 한국어 첫 소리까지 시간, 합성 속도, VRAM
STT faster-whisper large-v3-turbo의 전사 시간, 정확도, 말하는 중 부분 전사, 10명 동시 처리
LLM 빠름 / 권장 Strata로 Qwen3.6-35B-A3B(약 23GB)와 Qwen3.8-Flash-Next Q2_0(약 66GB)을 받아서 첫 토큰 시간(맥락 길이별), 생성 속도, 도구 호출, 이미지 읽기(화질 단계별), 한국어 답변, 동시 요청, 게임 모드용 VRAM 비우기와 모델 다시 시작·전환 시간

개인정보

  • 모든 측정은 PC 안에서 합니다. 인터넷은 프로그램과 모델을 받을 때만 씁니다.
  • 결과 파일에서 사용자 이름, 컴퓨터 이름, 사용자 폴더 경로는 가립니다.
  • 다른 프로그램의 창 제목은 저장하지 않습니다. 디스코드 분리 창 제목은 저장해도 되는지 물어본 뒤에만 넣습니다.
  • 게임 감지는 실행 중인 프로그램 이름과 창 모양만 봅니다. 게임 화면은 저장하지 않습니다. 설치된 게임은 이름과 안티치트 유무만 기록합니다.
  • 음성 테스트는 키트에 들어 있는 합성 음성만 씁니다. 마이크는 쓰지 않습니다.

옵션 (PowerShell에서 직접 실행할 때)

.\run_m0.ps1 -WorkDir E:\JarvisM0          # 작업 폴더 위치 지정
.\run_m0.ps1 -Skip llm_recommended          # 권장 모델(66GB) 빼고 실행
.\run_m0.ps1 -Only stt,tts_melo -Redo       # 특정 단계만 다시

단계 이름: sysinfo, winchecks, vdisplay, tts_melo, tts_cosy2, tts_cosy3, stt, llm_fast, llm_recommended, tools_fast, tools_recommended

tools_fast, tools_recommended는 도구 호출만 다시 잽니다. 처음과 같은 방식(고치기 전)과, 자비스의 수정(지시문 규칙, 계획 단계, 건너뛴 도구 직접 실행)을 넣은 방식을 같은 모델로 비교합니다. 이미 받은 모델을 쓰므로 모델 하나에 몇 분이면 끝납니다.

통과 기준은 도구를 맞게 부르는 것만이 아닙니다. 마지막 답이 도구 결과(예: 13도)를 그대로 말해야 하고, 할 수 있는 도구가 없는 부탁(거실 불 끄기, 타이머 도구를 빼고 하는 타이머 부탁)에는 못 한다고만 답해야 합니다. 숫자는 정확히 같아야 하고(5분인데 15분이면 실패), 비 소식이 도구 결과와 어긋나거나 못 한다면서 "껐습니다"를 섞어도 실패입니다. 수정을 넣고도 이 중 하나라도 틀리면, 같은 계열에서 덜 압축된 모델을 받아서 이어서 잽니다. 빠름은 Qwen3.6-35B-A3B UD-Q6_K_XL(약 33GB), 그다음 Q8_0(약 38GB) 순서이고, 권장은 Qwen3.8-Flash-Next IQ3_XXS, 그다음 IQ3_S 순서입니다. 통과하는 모델이 나오면 거기서 멈춥니다. 이때는 내려받느라 몇 시간 걸릴 수 있고, 디스크 공간이 모자란 모델은 건너뜁니다.

run_m0_tools.bat을 더블클릭하면 이 두 단계만 돌고 결과 zip이 만들어집니다. 직접 답하실 부분은 없습니다.

다 끝나고 필요 없으면 작업 폴더(\JarvisM0)를 통째로 지우면 됩니다. Python, 모델, Strata(엔진과 설정 포함)는 모두 그 안에 설치하도록 지정해 두었습니다.