diff --git a/docs/v2/decisions.md b/docs/v2/decisions.md index 9b90c56..30af187 100644 --- a/docs/v2/decisions.md +++ b/docs/v2/decisions.md @@ -29,7 +29,7 @@ | STT | large-v3-turbo, `int8_float16`(1.3GB). `float16`과 정확도가 같았음 | | LLM | 빠름 모델(Qwen3.6-35B-A3B) 기본, 동시 요청 2개, 이미지는 GPU 처리, 화질 1280x720, 음성 답변은 생각 모드 끔. 권장 모델(Qwen3.8-Flash-Next Q2_0, MTP 보조 모델)은 다시 재서 동작 확인, 선택지로 둠. 출력 속도는 131 tok/s로 빠름 모델(82 tok/s)보다 빠르지만, 음성 답변 첫 문장(0.58초 대 0.36초), 맥락 8천 토큰 첫 토큰(2.1초 대 1.6초), 이미지 1장 답변 시작(1.3초 대 0.6초)이 모두 느리고, 한국어 답에 한자(礼貌)가 한 번 섞임. 음성은 첫 소리까지가 중요하므로 빠름 모델을 기본으로 유지 | | 지난 대화 맥락 | 약 8천 토큰에서 시작(텍스트 첫 문장 1.8초). 상한은 M4에서 왕복 지연을 실측해 정함 | -| 도구 호출 | Strata에서 동작(빠름 12번 중 9번, 권장 12번 중 8번). 둘 다 도구를 부르지 않고 한 척하는 경우가 있음: 빠름 모델은 "5분 타이머 맞춰 줘"에서 "설정했습니다"라고만 답하고(3번 모두), 권장 모델은 "서울 날씨 어때?"에서 날씨를 지어내 답함(3번 모두). 두뇌 코드에서 고침(2026-11-10): (1) 지시문에 "바뀌는 정보(날씨·뉴스·가격·화면)는 이번 턴 도구 결과로만 말하고, 동작은 도구가 성공했을 때만 했다고 말한다"는 규칙을 넣고, 지시문 끝에 이번 턴에 쓸 수 있는 도구 이름을 다시 적음. (2) 모델이 계획 단계가 고른 도구를 건너뛰고 답하면 그 답을 버리고 계획에 적힌 호출을 직접 실행한 뒤 결과로 다시 답하게 함(인자가 도구 형식에 맞을 때만, 아니면 원래 답 유지). (3) 계획 단계에 도구 인자 이름을 보여 줌. 측정 키트 `tools_fast`/`tools_recommended` 단계로 두 모델에서 다시 확인 | +| 도구 호출 | Strata에서 동작(빠름 12번 중 9번, 권장 12번 중 8번). 둘 다 도구를 부르지 않고 한 척하는 경우가 있음: 빠름 모델은 "5분 타이머 맞춰 줘"에서 "설정했습니다"라고만 답하고(3번 모두), 권장 모델은 "서울 날씨 어때?"에서 날씨를 지어내 답함(3번 모두). 두뇌 코드에서 고침(2026-11-10): (1) 지시문에 "바뀌는 정보(날씨·뉴스·가격·화면)는 이번 턴 도구 결과로만 말하고, 동작은 도구가 성공했을 때만 했다고 말한다"는 규칙을 넣고, 지시문 끝에 이번 턴에 쓸 수 있는 도구 이름을 다시 적음. (2) 모델이 계획 단계가 고른 도구를 건너뛰고 답하면 그 답을 버리고 계획에 적힌 호출을 직접 실행한 뒤 결과로 다시 답하게 함(인자가 도구 형식에 맞을 때만, 아니면 원래 답 유지). (3) 계획 단계에 도구 인자 이름을 보여 줌. 측정 키트 `tools_fast`/`tools_recommended` 단계로 두 모델에서 다시 확인. 수정 후에도 틀리면 모델을 바꿈(사용자 결정): 키트가 같은 계열의 덜 압축된 모델(빠름: UD-Q6_K_XL, Q8_0 / 권장: IQ3_XXS, IQ3_S)을 차례로 재고, 처음 통과한 모델을 기본값으로 함 | | 분리된 화면공유 창 | 분리 창은 하나뿐이고 그 안에서 볼 화면공유를 고름. 창 제목에는 음성 채널 이름만 있어 누구 화면인지 모름. 누가 공유 중인지는 음성 채널 상태로 확인. 물어본 사람이 공유 중이 아니면 그렇다고 답함. 공유 중이면 공유자가 여러 명이어도 따로 묻지 않고 분리 창을 바로 캡처(사용자가 이미 그 사람 화면을 보고 있음). 가려져도 영상은 계속 그려짐 | | 게임 감지 | 발로란트(테두리 없는 창)를 게임으로, 브라우저 전체화면 영상을 게임 아님으로 바르게 판단. 안티치트 Vanguard 실행 감지 | | 게임 모드 VRAM 비우기 | Strata 0.1.59에서 빠름 모델은 VRAM 줄이기를 지원하지 않아 LLM을 껐다 켜는 방식(약 52초). 권장 모델은 껐다 켜지 않고 바로 줄어듦(0.03초, 사용 VRAM 약 15GB에서 약 10GB로, 줄인 동안 출력 72 tok/s). 엔진이 빠름 모델도 지원하면 다시 측정 | diff --git a/scripts/m0/README.md b/scripts/m0/README.md index df4c608..11d6e0b 100644 --- a/scripts/m0/README.md +++ b/scripts/m0/README.md @@ -53,7 +53,9 @@ LLM 단계는 8080 포트를 씁니다. 다른 프로그램이 이 포트를 쓰 단계 이름: `sysinfo`, `winchecks`, `vdisplay`, `tts_melo`, `tts_cosy2`, `tts_cosy3`, `stt`, `llm_fast`, `llm_recommended`, `tools_fast`, `tools_recommended` -`tools_fast`, `tools_recommended`는 도구 호출만 다시 잽니다. 처음과 같은 방식(고치기 전)과, 자비스의 수정(지시문 규칙, 계획 단계, 건너뛴 도구 직접 실행)을 넣은 방식을 같은 모델로 비교합니다. 이미 받은 모델을 쓰므로 다운로드는 없고, 모델 하나에 몇 분이면 끝납니다. +`tools_fast`, `tools_recommended`는 도구 호출만 다시 잽니다. 처음과 같은 방식(고치기 전)과, 자비스의 수정(지시문 규칙, 계획 단계, 건너뛴 도구 직접 실행)을 넣은 방식을 같은 모델로 비교합니다. 이미 받은 모델을 쓰므로 모델 하나에 몇 분이면 끝납니다. + +수정을 넣고도 도구 호출이 하나라도 틀리면, 같은 계열에서 덜 압축된 모델을 받아서 이어서 잽니다. 빠름은 Qwen3.6-35B-A3B UD-Q6_K_XL(약 33GB), 그다음 Q8_0(약 38GB) 순서이고, 권장은 Qwen3.8-Flash-Next IQ3_XXS, 그다음 IQ3_S 순서입니다. 통과하는 모델이 나오면 거기서 멈춥니다. 이때는 내려받느라 몇 시간 걸릴 수 있고, 디스크 공간이 모자란 모델은 건너뜁니다. `run_m0_tools.bat`을 더블클릭하면 이 두 단계만 돌고 결과 zip이 만들어집니다. 직접 답하실 부분은 없습니다. diff --git a/scripts/m0/m0lib/llm.py b/scripts/m0/m0lib/llm.py index 2f6c6fa..9f0cc63 100644 --- a/scripts/m0/m0lib/llm.py +++ b/scripts/m0/m0lib/llm.py @@ -12,6 +12,7 @@ from __future__ import annotations import json import os import re +import shutil import socket import subprocess import sys @@ -22,7 +23,7 @@ sys.path.insert(0, str(Path(__file__).resolve().parent.parent)) from m0lib.common import IS_WINDOWS, GpuSampler, StageResult, run_logged, say, scrub, stage_args # noqa: E402 from m0lib.llm_bench import (bench_single, test_decode, test_images, test_parallel, test_tools, # noqa: E402 test_vram_shrink, warmup) -from m0lib.tool_fix import test_tools_fixed # noqa: E402 +from m0lib.tool_fix import test_tools_fixed, tools_passed # noqa: E402 from m0lib.llm_client import ChatClient, http_json # noqa: E402 PRESETS = { @@ -32,6 +33,21 @@ PRESETS = { "recommended": {"family": "qwen", "model": "q2_0", "label": "Qwen3.8-Flash-Next Q2_0 (ISTA-DASLab)", "drafting": "mtp"}, } +# Tried in order when a preset still gets a tool call wrong with the Jarvis fix +# (the user's rule: if the fix does not work, change the model). Same family, +# less compressed weights, all within 128 GB RAM. need_gb: free disk to download. +CANDIDATES = { + "fast": [ + {"family": "qwen36", "model": "ud-q6_k_xl", "label": "Qwen3.6-35B-A3B UD-Q6_K_XL", "need_gb": 40}, + {"family": "qwen36", "model": "q8_0", "label": "Qwen3.6-35B-A3B Q8_0", "need_gb": 45}, + ], + "recommended": [ + {"family": "qwen", "model": "iq3_xxs", "label": "Qwen3.8-Flash-Next IQ3_XXS (ISTA-DASLab)", + "drafting": "mtp", "need_gb": 80}, + {"family": "qwen", "model": "iq3_s", "label": "Qwen3.8-Flash-Next IQ3_S (ISTA-DASLab)", + "drafting": "mtp", "need_gb": 85}, + ], +} PORT = 8080 INSTALL_URL = "https://github.com/Niko1221/Strata/releases/latest/download/install.ps1" @@ -193,14 +209,51 @@ def server_info(base: str) -> dict: return info -def tools_only(r: StageResult, c: ChatClient) -> None: - """Tool calling as first measured (baseline) and with the Jarvis fix.""" - for fn in (lambda: warmup(r, c), lambda: test_tools(r, c), lambda: test_tools_fixed(r, c)): +def tools_only(r: StageResult, c: ChatClient) -> dict | None: + """Tool calling as first measured (baseline) and with the Jarvis fix. + + Returns the fixed run's summary (None when it could not run).""" + summary = None + for name, fn in (("warmup", lambda: warmup(r, c)), ("tools", lambda: test_tools(r, c)), + ("fixed", lambda: test_tools_fixed(r, c))): try: - fn() + out = fn() + if name == "fixed": + summary = out except Exception as e: r.error("tools", e) r.save() + return summary + + +def try_candidates(r: StageResult, which: str, default_summary: dict | None, measure, free_gb) -> None: + """If the default preset fails with the fix, measure the next candidates. + + ``measure(preset)`` starts the preset and returns its fixed-run summary; + ``free_gb()`` is the free disk in GB. Stops at the first passing model and + records which one Jarvis should switch to (None if none passed). + """ + verdict: dict = {"default": PRESETS[which]["label"], "default_passed": tools_passed(default_summary), + "candidates": [], "chosen": PRESETS[which]["label"] if tools_passed(default_summary) else None} + r["tools_verdict"] = verdict + if verdict["default_passed"]: + return + for cand in CANDIDATES[which]: + row: dict = {"label": cand["label"]} + verdict["candidates"].append(row) + if free_gb() < cand["need_gb"]: + row["skipped"] = "disk" + say(f" {cand['label']}: 디스크 공간이 부족해 건너뜁니다 (필요 약 {cand['need_gb']} GB)") + continue + say(f" 수정 후에도 틀린 도구 호출이 있어 다른 모델을 잽니다: {cand['label']} (처음이면 내려받습니다)") + try: + row["summary"] = measure(cand) + except Exception as e: + row["error"] = str(e)[:300] + r.save() + if tools_passed(row.get("summary")): + verdict["chosen"] = cand["label"] + return def measure_external(r: StageResult, url: str, context: int, only: str = "") -> None: @@ -244,7 +297,18 @@ def measure_strata(r: StageResult, work: Path, which: str, context: int, only: s c = ChatClient(base) r["server"] = {"model": c.model, "info": server_info(base), "status": s.status()} if only == "tools": - tools_only(r, c) + default_summary = tools_only(r, c) + + def measure(cand: dict) -> dict | None: + key = f"tools_fixed_{cand['model']}" + res = s.launch(cand, context, parallel=1, restart=True) + r[f"launch_{cand['model']}"] = res + if not res["ready"]: + return None + return test_tools_fixed(r, ChatClient(base), key=key) + + try_candidates(r, which, default_summary, measure, + free_gb=lambda: shutil.disk_usage(work).free / 1e9) s.stop() return with GpuSampler() as g: diff --git a/scripts/m0/m0lib/tool_fix.py b/scripts/m0/m0lib/tool_fix.py index c3fca76..ad76ad4 100644 --- a/scripts/m0/m0lib/tool_fix.py +++ b/scripts/m0/m0lib/tool_fix.py @@ -152,12 +152,17 @@ def run_case(c: ChatClient, system: str, planner, prompt: str, want: str | None, return row -def test_tools_fixed(r: StageResult, c: ChatClient, tries: int = 3) -> None: +def tools_passed(summary: dict | None) -> bool: + """Every scored case ended with the right tool call (by the model or the guard).""" + return bool(summary) and summary["total"] > 0 and summary["ok"] == summary["total"] + + +def test_tools_fixed(r: StageResult, c: ChatClient, tries: int = 3, key: str = "tools_fixed") -> dict | None: say(" - 도구 호출 (수정 적용: 지시문 + 계획 + 건너뛴 도구 실행)") src = jarvis_src() if src is None: - r.error("tools_fixed", "jarvis_src 폴더가 없습니다") - return + r.error(key, "jarvis_src 폴더가 없습니다") + return None sp, planner = load_jarvis(src, c) names = [t["function"]["name"] for t in TOOLS] system = f"{VOICE_SYSTEM}\n\n{sp.TOOL_HONESTY_RULES}\n\n{sp.tool_honesty_reminder(names)}" @@ -177,6 +182,7 @@ def test_tools_fixed(r: StageResult, c: ChatClient, tries: int = 3) -> None: "guard_ran": sum(1 for x in rows if x.get("guard_ran")), "text_with_call": sum(1 for x in rows if x.get("text_with_call")), "total": len(scored)} - r["tools_fixed"] = {"cases": rows, "summary": summary, "system": system} + r[key] = {"cases": rows, "summary": summary, "system": system} say(f" 모델 스스로 {summary['model_ok']}/{summary['total']}, 계획 실행 포함 {summary['ok']}/{summary['total']}, " f"도구 호출과 같이 쓴 답 {summary['text_with_call']}번") + return summary diff --git a/tests/test_m0_kit.py b/tests/test_m0_kit.py index 072d311..f641400 100644 --- a/tests/test_m0_kit.py +++ b/tests/test_m0_kit.py @@ -306,3 +306,37 @@ def test_model_that_calls_the_tool_is_scored_without_the_guard(): assert row["model_ok"] is True and row["guard_ran"] is False and row["ok"] is True assert row["text_with_call"] is False + + +# --------------------------------------------------------------------------- +# "If the fix does not work, change the model": the tools stage tries the +# next model of the same family until one passes every scored case. + +def _summary(ok, total=21): + return {"ok": ok, "model_ok": ok, "total": total, "guard_ran": 0, "text_with_call": 0} + + +def test_passing_default_tries_no_other_model(tmp_path): + r = common.StageResult("tools_fast", tmp_path / "r.json") + tried = [] + llm.try_candidates(r, "fast", _summary(21), lambda p: tried.append(p) or _summary(21), free_gb=lambda: 999) + assert tried == [] and r["tools_verdict"]["chosen"] == llm.PRESETS["fast"]["label"] + + +def test_failing_default_stops_at_the_first_candidate_that_passes(tmp_path): + r = common.StageResult("tools_fast", tmp_path / "r.json") + results = iter([_summary(20), _summary(21)]) + tried = [] + llm.try_candidates(r, "fast", _summary(18), lambda p: tried.append(p["model"]) or next(results), + free_gb=lambda: 999) + assert tried == [c["model"] for c in llm.CANDIDATES["fast"][:2]] + assert r["tools_verdict"]["chosen"] == llm.CANDIDATES["fast"][1]["label"] + + +def test_candidate_without_disk_space_is_skipped_not_downloaded(tmp_path): + r = common.StageResult("tools_recommended", tmp_path / "r.json") + tried = [] + llm.try_candidates(r, "recommended", _summary(18), lambda p: tried.append(p) or _summary(21), free_gb=lambda: 1) + assert tried == [] + assert r["tools_verdict"]["chosen"] is None + assert all(c["skipped"] == "disk" for c in r["tools_verdict"]["candidates"])