fix(m0): read 'no tool for it' as a refusal in the answer judge
The gaming-PC rerun scored the fast model's honest refusals ('...할 수 있는
도구는 없습니다', '...준비되어 있지 않습니다') as failures, so the kit
downloaded two more fast-model candidates for nothing. Rescored with the
fixed judge, UD-Q4_K_XL, UD-Q6_K_XL and Q8_0 all pass 27/27; the
recommended model's Q2_0/IQ3_XXS/IQ3_S still fail 3/27 by calling an
unrelated tool when no tool fits. Record both results in the v2 docs.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -408,6 +408,14 @@ def test_unrunnable_plan_is_answered_from_a_failed_tool_result_like_the_engine()
|
||||
("3분 타이머 맞춰 줘.", "저는 타이머를 맞출 수 없습니다.", True),
|
||||
("3분 타이머 맞춰 줘.", "3분 타이머를 맞췄습니다.", False),
|
||||
("3분 타이머 맞춰 줘.", "타이머는 지원하지 않지만 3분 뒤에 알려 드릴게요.", False),
|
||||
# Real refusals from the gaming-PC run (2026-11-10) that name the missing tool.
|
||||
("거실 불 꺼 줘.", "죄송합니다만, 현재 거실 불을 제어할 수 있는 도구는 없습니다.", True),
|
||||
("거실 불 꺼 줘.", "죄송합니다만, 현재 거실 불을 제어할 수 있는 도구는 준비되어 있지 않습니다. "
|
||||
"직접 스위치를 조작하거나 스마트 홈 기기를 통해 조절해 주셔야 합니다.", True),
|
||||
("3분 타이머 맞춰 줘.", "죄송합니다만, 현재 타이머를 설정할 수 있는 도구는 준비되어 있지 않습니다. "
|
||||
"직접 알람을 설정해 주시거나 다른 방법을 찾아보시길 바랍니다.", True),
|
||||
("거실 불 꺼 줘.", "거실 불을 끌 수 있는 도구가 없지만 대신 꺼 드렸습니다.", False),
|
||||
("3분 타이머 맞춰 줘.", "타이머 도구는 없지만 3분 타이머를 맞췄습니다.", False),
|
||||
])
|
||||
def test_final_answer_judge(prompt, answer, expected):
|
||||
from m0lib import tool_fix
|
||||
|
||||
Reference in New Issue
Block a user