fix: 포터블에 transformers 포함 + 실제 모델로 드러난 용어집 결함 수정
리뷰 지적(포터블에서 transformers 제외 -> NLLB 로드 실패)을 고치려고 실제
NLLB 를 받아 돌려봤고, 그 과정에서 용어집이 사실상 동작하지 않고 있었다는
것을 발견했다. 단위 테스트는 "모델이 자리표시자를 통과시킨다"는 틀린 전제
위에 서 있었다.
1) 포터블 패키징 (리뷰 지적)
transformers 를 제외 목록에서 빼고 hiddenimports 에 넣었다. NLLB
토크나이저가 AutoTokenizer 를 쓰기 때문이다. transformers 는 torch 가
없으면 토크나이저 전용 모드로 뜨며 그게 우리 용도와 정확히 맞는다.
torch 없는 환경에서 ctranslate2/transformers/faster-whisper import 와
앱 기동을 검증하는 test_portable.py 를 추가했다.
2) 자리표시자 형식 (실측으로 발견)
`⟦0⟧` 는 NLLB 가 괄호를 날려 생존률 0/3 이었다. 용어가 자막에서 그냥
사라지고 있었다 ("Third party incoming" -> "0 들어오는"). 후보 8종을
실제 모델로 비교해 `#0#` 로 교체 (3/3, 다중 4/5).
3) 소실 대비
모델이 문장 일부를 누락하면 자리표시자도 사라진다. 그대로 복원하면
용어가 증발하므로, 하나라도 없으면 보호 없이 재번역한다.
4) 서술어는 문장 전체일 때만 (whole_only)
절/서술어를 문장 중간에서 치환하면 문법이 무너진다.
before: "탄 필요해와 구급상자"
after : "탄약과 구급상자가 필요합니다"
해당 56개 항목을 whole_only 로 지정해 단독 발화일 때만 적용한다.
("Cover me!" -> "엄호해줘" 는 그대로 유지)
5) 조사 교정
역어 받침이 달라 "자기장를" 이 남던 것을 fix_particles() 로 고친다.
을/를, 이/가, 은/는, 과/와, (으)로 — 한글 코드에서 받침을 읽어 판정.
검증: pytest 189개 통과, ruff clean
실제 NLLB-600M(torch 없이 CPU)로 번역 품질 직접 확인
Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
This commit is contained in:
@@ -28,7 +28,12 @@ from ..constants import LANGUAGE_CODES, user_data_dir
|
||||
from ..models import Glossary, ModelManager
|
||||
from ..models.manager import apply_vram_limit
|
||||
from ..models.packs import build_glossary
|
||||
from ..models.speech_level import SpeechLevel, apply_speech_level, detect_politeness
|
||||
from ..models.speech_level import (
|
||||
SpeechLevel,
|
||||
apply_speech_level,
|
||||
detect_politeness,
|
||||
fix_particles,
|
||||
)
|
||||
from .events import EngineState, EngineStatus, TranslationLine
|
||||
|
||||
log = logging.getLogger(__name__)
|
||||
@@ -294,6 +299,8 @@ class TranslationEngine:
|
||||
translated = apply_speech_level(
|
||||
translated, target, self._speech_level(), politeness
|
||||
)
|
||||
if target == "ko":
|
||||
translated = fix_particles(translated)
|
||||
mt_ms = int((time.perf_counter() - t1) * 1000)
|
||||
self._last_final_text = transcript.text
|
||||
|
||||
|
||||
@@ -66,7 +66,8 @@
|
||||
"ko": "내 배너 챙겨",
|
||||
"ja": "バナー取って",
|
||||
"zh": "捡我旗帜"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "respawn beacon",
|
||||
@@ -90,7 +91,8 @@
|
||||
"ko": "눕혔다",
|
||||
"ja": "ダウンさせた",
|
||||
"zh": "打倒了"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "thirsting",
|
||||
@@ -106,7 +108,8 @@
|
||||
"ko": "피니셔",
|
||||
"ja": "フィニッシャー",
|
||||
"zh": "处决"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "knockdown shield",
|
||||
@@ -306,7 +309,8 @@
|
||||
"ko": "밀어",
|
||||
"ja": "詰めよう",
|
||||
"zh": "推他们"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "back off",
|
||||
@@ -314,7 +318,8 @@
|
||||
"ko": "빠져",
|
||||
"ja": "引こう",
|
||||
"zh": "撤"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "high ground",
|
||||
@@ -338,7 +343,8 @@
|
||||
"ko": "핑 찍어",
|
||||
"ja": "ピンして",
|
||||
"zh": "标记一下"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "squad wiped",
|
||||
|
||||
@@ -42,7 +42,8 @@
|
||||
"ko": "엄호해줘",
|
||||
"ja": "援護して",
|
||||
"zh": "掩护我"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "covering",
|
||||
@@ -58,7 +59,8 @@
|
||||
"ko": "밀자",
|
||||
"ja": "押そう",
|
||||
"zh": "推进"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "fall back",
|
||||
@@ -66,7 +68,8 @@
|
||||
"ko": "후퇴",
|
||||
"ja": "後退",
|
||||
"zh": "撤退"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "hold",
|
||||
@@ -106,7 +109,8 @@
|
||||
"ko": "살려줘",
|
||||
"ja": "蘇生して",
|
||||
"zh": "救我"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "heal up",
|
||||
@@ -114,7 +118,8 @@
|
||||
"ko": "회복하자",
|
||||
"ja": "回復しよう",
|
||||
"zh": "回血"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "loot",
|
||||
@@ -186,7 +191,8 @@
|
||||
"ko": "뒤에 있다",
|
||||
"ja": "後ろにいる",
|
||||
"zh": "背后有人"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "on me",
|
||||
@@ -354,7 +360,8 @@
|
||||
"ko": "잘 했다",
|
||||
"ja": "GG",
|
||||
"zh": "打得好"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "nice shot",
|
||||
@@ -362,7 +369,8 @@
|
||||
"ko": "잘 쐈다",
|
||||
"ja": "ナイスショット",
|
||||
"zh": "好枪"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "my bad",
|
||||
@@ -370,7 +378,8 @@
|
||||
"ko": "내 실수",
|
||||
"ja": "ごめん",
|
||||
"zh": "我的错"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
}
|
||||
]
|
||||
}
|
||||
|
||||
@@ -170,7 +170,8 @@
|
||||
"ko": "모이자",
|
||||
"ja": "集合",
|
||||
"zh": "集合"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "group up",
|
||||
@@ -178,7 +179,8 @@
|
||||
"ko": "모이자",
|
||||
"ja": "集合",
|
||||
"zh": "集合"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "stagger",
|
||||
@@ -378,7 +380,8 @@
|
||||
"ko": "뒤에 있다",
|
||||
"ja": "後ろだ",
|
||||
"zh": "背后有人"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "falling back",
|
||||
@@ -386,7 +389,8 @@
|
||||
"ko": "후퇴한다",
|
||||
"ja": "後退する",
|
||||
"zh": "撤退"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "push",
|
||||
@@ -394,7 +398,8 @@
|
||||
"ko": "밀자",
|
||||
"ja": "押そう",
|
||||
"zh": "推进"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
}
|
||||
]
|
||||
}
|
||||
|
||||
@@ -18,7 +18,8 @@
|
||||
"ko": "이겼닭! 오늘 저녁은 치킨이닭!",
|
||||
"ja": "ドン勝つ!",
|
||||
"zh": "大吉大利,今晚吃鸡"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "blue zone",
|
||||
@@ -98,7 +99,8 @@
|
||||
"ko": "어디 내릴까",
|
||||
"ja": "どこ降りる",
|
||||
"zh": "跳哪里"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "loot",
|
||||
@@ -146,7 +148,8 @@
|
||||
"ko": "어부 당했다",
|
||||
"ja": "漁夫られた",
|
||||
"zh": "被第三方了"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "squad",
|
||||
@@ -178,7 +181,8 @@
|
||||
"ko": "눕혔다",
|
||||
"ja": "ダウンさせた",
|
||||
"zh": "打倒了"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "knocked down",
|
||||
@@ -194,7 +198,8 @@
|
||||
"ko": "마무리해",
|
||||
"ja": "とどめ刺して",
|
||||
"zh": "补掉他"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "revive",
|
||||
@@ -218,7 +223,8 @@
|
||||
"ko": "살려줘",
|
||||
"ja": "起こして",
|
||||
"zh": "救我"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "med kit",
|
||||
@@ -370,7 +376,8 @@
|
||||
"ko": "탄 필요해",
|
||||
"ja": "弾ちょうだい",
|
||||
"zh": "要子弹"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "frag grenade",
|
||||
@@ -418,7 +425,8 @@
|
||||
"ko": "엄폐해",
|
||||
"ja": "隠れて",
|
||||
"zh": "找掩体"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "cover",
|
||||
@@ -466,7 +474,8 @@
|
||||
"ko": "차 타",
|
||||
"ja": "車乗って",
|
||||
"zh": "上车"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "fuel",
|
||||
@@ -490,7 +499,8 @@
|
||||
"ko": "발소리 들린다",
|
||||
"ja": "足音する",
|
||||
"zh": "听到脚步"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "sniper",
|
||||
|
||||
@@ -130,7 +130,8 @@
|
||||
"ko": "설치됐다",
|
||||
"ja": "設置された",
|
||||
"zh": "已安装"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "defuse",
|
||||
@@ -154,7 +155,8 @@
|
||||
"ko": "보강하다",
|
||||
"ja": "補強する",
|
||||
"zh": "加固"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "hard breach",
|
||||
@@ -234,7 +236,8 @@
|
||||
"ko": "런아웃",
|
||||
"ja": "ランアウト",
|
||||
"zh": "冲出"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "spawn peek",
|
||||
@@ -346,7 +349,8 @@
|
||||
"ko": "카메라 깨줘",
|
||||
"ja": "カメラ壊して",
|
||||
"zh": "打掉摄像头"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "prefire",
|
||||
@@ -474,7 +478,8 @@
|
||||
"ko": "측면 봐줘",
|
||||
"ja": "フランク見て",
|
||||
"zh": "看侧面"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "above you",
|
||||
@@ -482,7 +487,8 @@
|
||||
"ko": "위에 있다",
|
||||
"ja": "上にいる",
|
||||
"zh": "在你上面"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "below you",
|
||||
@@ -490,7 +496,8 @@
|
||||
"ko": "아래에 있다",
|
||||
"ja": "下にいる",
|
||||
"zh": "在你下面"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "basement",
|
||||
|
||||
@@ -42,7 +42,8 @@
|
||||
"ko": "후원하다",
|
||||
"ja": "投げ銭する",
|
||||
"zh": "打赏"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "sub",
|
||||
@@ -210,7 +211,8 @@
|
||||
"ko": "던지다",
|
||||
"ja": "スローする",
|
||||
"zh": "送"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "griefing",
|
||||
@@ -234,7 +236,8 @@
|
||||
"ko": "미쳤다",
|
||||
"ja": "ヤバい",
|
||||
"zh": "太强了"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "insane",
|
||||
@@ -258,7 +261,8 @@
|
||||
"ko": "가자",
|
||||
"ja": "行くぞ",
|
||||
"zh": "冲"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "no way",
|
||||
@@ -266,7 +270,8 @@
|
||||
"ko": "말도 안 돼",
|
||||
"ja": "ありえない",
|
||||
"zh": "不可能吧"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "give me a second",
|
||||
@@ -274,7 +279,8 @@
|
||||
"ko": "잠깐만",
|
||||
"ja": "ちょっと待って",
|
||||
"zh": "等一下"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "hold on",
|
||||
@@ -282,7 +288,8 @@
|
||||
"ko": "잠깐",
|
||||
"ja": "待って",
|
||||
"zh": "等等"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "be right back",
|
||||
@@ -290,7 +297,8 @@
|
||||
"ko": "금방 올게",
|
||||
"ja": "すぐ戻る",
|
||||
"zh": "马上回来"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "thanks for the sub",
|
||||
@@ -298,7 +306,8 @@
|
||||
"ko": "구독 고마워",
|
||||
"ja": "サブありがとう",
|
||||
"zh": "谢谢订阅"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "welcome back",
|
||||
@@ -306,7 +315,8 @@
|
||||
"ko": "다시 왔네",
|
||||
"ja": "おかえり",
|
||||
"zh": "欢迎回来"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
}
|
||||
]
|
||||
}
|
||||
|
||||
@@ -26,7 +26,8 @@
|
||||
"ko": "설치됐다",
|
||||
"ja": "設置された",
|
||||
"zh": "已安装"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "defuse",
|
||||
@@ -410,7 +411,8 @@
|
||||
"ko": "봤다",
|
||||
"ja": "発見",
|
||||
"zh": "看到了"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "one down",
|
||||
|
||||
@@ -122,7 +122,8 @@
|
||||
"ko": "해킹됐다",
|
||||
"ja": "ハックされた",
|
||||
"zh": "被黑了"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "remote hack",
|
||||
@@ -314,7 +315,8 @@
|
||||
"ko": "발각됐다",
|
||||
"ja": "見つかった",
|
||||
"zh": "被发现了"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "stay hidden",
|
||||
@@ -322,7 +324,8 @@
|
||||
"ko": "숨어 있어",
|
||||
"ja": "隠れてろ",
|
||||
"zh": "别暴露"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "take down",
|
||||
@@ -330,7 +333,8 @@
|
||||
"ko": "제압",
|
||||
"ja": "テイクダウン",
|
||||
"zh": "制服"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "non lethal",
|
||||
@@ -346,7 +350,8 @@
|
||||
"ko": "살상",
|
||||
"ja": "殺傷",
|
||||
"zh": "致命"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "heat level",
|
||||
@@ -370,7 +375,8 @@
|
||||
"ko": "경찰 따돌려",
|
||||
"ja": "警察撒いて",
|
||||
"zh": "甩掉警察"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
},
|
||||
{
|
||||
"source": "traffic light",
|
||||
@@ -474,7 +480,8 @@
|
||||
"ko": "도시가 지켜보고 있다",
|
||||
"ja": "街が見ている",
|
||||
"zh": "城市在注视"
|
||||
}
|
||||
},
|
||||
"whole_only": true
|
||||
}
|
||||
]
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user