From 1f59ed0679a1707fdc266a60fe7ecc6f69a5d461 Mon Sep 17 00:00:00 2001 From: EJClaw Date: Fri, 9 Oct 2026 17:29:00 +0900 Subject: [PATCH] =?UTF-8?q?fix:=20exe=20=EC=97=90=EC=84=9C=20=EC=9E=90?= =?UTF-8?q?=EB=A7=89=EC=9D=B4=20=ED=95=98=EB=82=98=EB=8F=84=20=EC=95=88=20?= =?UTF-8?q?=EB=82=98=EC=98=A4=EB=8D=98=20=EA=B2=83=20(Silero=20VAD=20?= =?UTF-8?q?=EB=AA=A8=EB=8D=B8=20=EB=88=84=EB=9D=BD)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 포터블 exe 에 faster_whisper/assets/silero_vad_v6.onnx 가 빠져 있었다. 확정 문장 인식은 vad_filter=True 라서 매번 NoSuchFile 로 실패했고, 엔진이 경고 로그만 남기고 넘어가 어떤 목소리도 자막이 되지 않았다. 소스 점검(--pipeline)은 파일이 있는 venv 에서 돌아 통과했다. - livesub.spec: collect_data_files("faster_whisper") 로 assets 를 넣는다. - windows_smoke --exe: exe 안에 VAD 모델·용어집이 들어 있는지 확인한다. test7 exe 에 돌리면 silero_vad_v6.onnx 가 빠졌다고 실패한다. 함께, 효과가 걸린 게임 목소리를 Silero 가 통째로 버리던 것도 고친다. 사용자 녹음의 "Get up! Over here!" 는 Silero 확률이 0.14 라 사라졌다. Silero 가 구간 전체를 버렸을 때만 VAD 없이 한 번 더 받고, 잡음 환각은 창 끝까지 이어진 구간(Thank you. 29.98s), 낮은 log 확률(< -1.0), 높은 압축률로 거른다. 실제 모델(turbo·small)로 사용자 녹음 대사 3개를 모두 받고 잡음 구간 5곳은 모두 빈 결과임을 확인했다. Co-Authored-By: Claude Opus 5.5 --- packaging/livesub.spec | 7 ++++- packaging/windows_smoke.py | 22 ++++++++++++++ src/livesub/models/asr.py | 61 ++++++++++++++++++++++++++++---------- tests/test_asr_language.py | 58 ++++++++++++++++++++++++++++++++++++ 4 files changed, 132 insertions(+), 16 deletions(-) diff --git a/packaging/livesub.spec b/packaging/livesub.spec index 6aa9609..f1d86b5 100644 --- a/packaging/livesub.spec +++ b/packaging/livesub.spec @@ -27,7 +27,7 @@ from pathlib import Path -from PyInstaller.utils.hooks import collect_dynamic_libs +from PyInstaller.utils.hooks import collect_data_files, collect_dynamic_libs BLOCK_CIPHER = None ROOT = Path(SPECPATH).parent # noqa: F821 - PyInstaller 가 주입 @@ -39,6 +39,11 @@ capture_exe = SRC / "livesub" / "resources" / "bin" / "livesub_capture.exe" if capture_exe.is_file(): datas.append((str(capture_exe), "livesub/resources/bin")) +# faster-whisper 는 문장을 확정할 때 Silero VAD 모델(assets/silero_vad_v6.onnx)을 +# 패키지 폴더에서 읽는다. .py 가 아닌 파일이라 PyInstaller 가 자동으로 넣지 않고, +# 빠지면 확정 문장 인식이 매번 실패해 자막이 하나도 안 나온다 (v0.3.0-test7 까지). +datas += collect_data_files("faster_whisper") + # CTranslate2 는 CUDA/cuDNN DLL 을 곁에 두고 로드한다. 자동 수집에서 빠지기 쉽다. binaries = collect_dynamic_libs("ctranslate2") diff --git a/packaging/windows_smoke.py b/packaging/windows_smoke.py index 64c281d..fc17d48 100644 --- a/packaging/windows_smoke.py +++ b/packaging/windows_smoke.py @@ -526,6 +526,21 @@ def _scratch_appdata(): shutil.rmtree(tmp, ignore_errors=True) +#: exe 안에 반드시 있어야 하는 .py 아닌 파일. 빠져도 창은 잘 뜨고 소스 점검도 +#: 통과하므로, 실제로 말소리가 들어올 때가 돼서야 터진다. +EXE_REQUIRED_FILES = ( + "faster_whisper/assets/silero_vad_v6.onnx", # 확정 문장 인식의 VAD + "livesub/resources/glossaries/fps-common.json", +) + + +def missing_bundle_files(exe: Path) -> list[str]: + from PyInstaller.archive.readers import CArchiveReader + + names = {name.replace("\\", "/") for name in CArchiveReader(str(exe)).toc} + return [f for f in EXE_REQUIRED_FILES if f not in names] + + def run_exe_check(exe: Path) -> None: print(f"\n=== 빌드된 exe 점검: {exe} ===") @@ -538,6 +553,13 @@ def run_exe_check(exe: Path) -> None: raise RuntimeError(f"{mb:.0f}MB — 너무 큼. torch 가 섞여 들어갔는지 확인") return f"{mb:.1f} MB" + @check("exe 에 실행 중 읽는 파일이 들어 있는지") + def _bundled_files(): + missing = missing_bundle_files(exe) + if missing: + raise RuntimeError(f"빠짐: {', '.join(missing)}") + return f"{len(EXE_REQUIRED_FILES)}개 확인" + @check("exe 첫 실행 — 저장 위치 화면") def _first_run(): # APPDATA 를 빈 폴더로 돌려 "처음 켜는 사람" 을 그대로 재현한다. diff --git a/src/livesub/models/asr.py b/src/livesub/models/asr.py index 2f3f7f0..571c86c 100644 --- a/src/livesub/models/asr.py +++ b/src/livesub/models/asr.py @@ -9,7 +9,7 @@ from dataclasses import dataclass, field import numpy as np -from ..constants import LANGUAGE_CODES, models_dir +from ..constants import LANGUAGE_CODES, SAMPLE_RATE, models_dir from .tiers import AsrSpec log = logging.getLogger(__name__) @@ -27,6 +27,15 @@ ALT_LANGUAGE_MAX_LOGPROB_DROP = -0.45 #: 반복 루프는 확률이 높게 나와서 log 확률만으로는 걸러지지 않는다. MAX_COMPRESSION_RATIO = 2.4 +#: Silero 없이 다시 받은 결과를 믿는 최저 토큰당 평균 log 확률. Whisper 원본의 +#: logprob_threshold 와 같은 값이다. 게임 잡음에서 나오는 "Oh." "you" 같은 환각은 +#: -1.1 대로 나오고, 효과 걸린 실제 대사는 -0.3 ~ -0.8 로 나온다 (실측). +FALLBACK_MIN_LOGPROB = -1.0 + +#: 구간이 실제 오디오보다 이만큼(초) 넘게 끝나면 환각이다. 말소리가 없으면 Whisper 는 +#: 타임스탬프를 못 찍고 30초 창 끝까지 이어진 "Thank you." 를 내놓는다. +FALLBACK_MAX_OVERRUN_S = 1.0 + #: 다시 받은 결과에 이 글자가 섞여 있으면 모델이 언어를 바꾸지 못한 것이다. #: (진짜 한국어를 small 모델로 '영어로' 받으면 한글을 그대로 적는다.) _SCRIPT = { @@ -131,20 +140,15 @@ class SpeechRecognizer: def _run( self, audio: np.ndarray, language: str | None, fast: bool, prompt: str ) -> Transcript: - assert self._model is not None - with self._lock: - segments, info = self._model.transcribe( - audio.astype(np.float32, copy=False), - language=language, - beam_size=1 if fast else self.spec.beam_size, - temperature=0.0, - condition_on_previous_text=False, - initial_prompt=prompt or None, - vad_filter=not fast, - vad_parameters={"min_silence_duration_ms": 300}, - word_timestamps=False, - ) - segments = list(segments) + segments, info = self._decode(audio, language, fast, prompt, vad=not fast) + if not fast and not any(s.text.strip() for s in segments): + # Silero VAD 가 구간을 통째로 버렸다. 효과가 걸린 게임 목소리("Get up! + # Over here!")는 Silero 확률이 0.1 대로 나와서 여기서 사라진다. 이 구간은 + # 이미 우리 분할기가 말소리로 본 것이므로 VAD 없이 한 번 더 받되, 잡음에서 + # 나오는 환각("Thank you.")은 `_plausible` 로 거른다. + segments, info = self._decode(audio, language, fast, prompt, vad=False) + duration = audio.size / SAMPLE_RATE + segments = [s for s in segments if _plausible(s, duration)] text = " ".join(s.text.strip() for s in segments if s.text.strip()).strip() tokens = sum(len(getattr(s, "tokens", ()) or ()) for s in segments) @@ -167,6 +171,24 @@ class SpeechRecognizer: language_probs={str(k): float(v) for k, v in probs}, ) + def _decode( + self, audio: np.ndarray, language: str | None, fast: bool, prompt: str, vad: bool + ) -> tuple[list, object]: + assert self._model is not None + with self._lock: + segments, info = self._model.transcribe( + audio.astype(np.float32, copy=False), + language=language, + beam_size=1 if fast else self.spec.beam_size, + temperature=0.0, + condition_on_previous_text=False, + initial_prompt=prompt or None, + vad_filter=vad, + vad_parameters={"min_silence_duration_ms": 300} if vad else None, + word_timestamps=False, + ) + return list(segments), info + def _alternative_language( probs: dict[str, float], detected: str, supported: bool @@ -191,6 +213,15 @@ def _most_likely(candidates: list[str], probs: dict[str, float]) -> str | None: return max(known, key=lambda c: probs[c]) if known else None +def _plausible(segment, duration_s: float) -> bool: + """Silero 없이 받은 구간이 실제 말소리를 받아 적은 것으로 보이는가.""" + if float(getattr(segment, "end", 0.0) or 0.0) > duration_s + FALLBACK_MAX_OVERRUN_S: + return False + if float(getattr(segment, "compression_ratio", 0.0) or 0.0) > MAX_COMPRESSION_RATIO: + return False + return float(getattr(segment, "avg_logprob", 0.0)) >= FALLBACK_MIN_LOGPROB + + def _accept_alternative(first: Transcript, alt: Transcript, avoided: str) -> bool: if not alt.text: return False diff --git a/tests/test_asr_language.py b/tests/test_asr_language.py index d00b547..224a3c3 100644 --- a/tests/test_asr_language.py +++ b/tests/test_asr_language.py @@ -144,3 +144,61 @@ def test_unsupported_language_falls_back_to_best_supported(): ) t = recognizer(fake).transcribe(AUDIO, target_lang="ko") assert (t.language, t.text) == ("en", "Nice shot") + + +class SileroDropsWhisper: + """Silero VAD 를 켜면 아무것도 못 받고, 끄면 정해 둔 구간을 돌려준다.""" + + def __init__(self, segments): + self.segments = segments + self.vad_calls: list[bool] = [] + + def transcribe(self, audio, language=None, vad_filter=False, **_): + self.vad_calls.append(vad_filter) + info = SimpleNamespace( + language="en", language_probability=0.9, duration=audio.size / 16_000, + all_language_probs=[("en", 0.9)], + ) + return iter([] if vad_filter else self.segments), info + + +def raw(text: str, end: float, logprob: float, ratio: float = 1.0): + s = seg(text, logprob) + s.end = end + s.compression_ratio = ratio + return s + + +# 실측값 (large-v3-turbo, 사용자 게임 녹음 5.2초 구간). Silero 확률이 0.14 라 통째로 버려졌다. +EFFECT_VOICE = [raw(" Get up!", 2.0, -0.73), raw(" Over here!", 4.0, -0.73)] +FIVE_SECONDS = np.zeros(5 * 16_000, dtype=np.float32) + + +def test_voice_dropped_by_silero_is_recovered_without_vad(): + fake = SileroDropsWhisper(EFFECT_VOICE) + t = recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko") + assert t.text == "Get up! Over here!" + assert fake.vad_calls == [True, False] + + +def test_noise_hallucination_running_to_window_end_is_dropped(): + """말소리가 없으면 30초 창 끝까지 이어진 'Thank you.' 가 나온다 (turbo 실측).""" + fake = SileroDropsWhisper([raw(" Thank you.", 29.98, -0.77)]) + assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == "" + + +def test_low_confidence_noise_word_is_dropped(): + fake = SileroDropsWhisper([raw(" Oh.", 0.5, -1.12)]) + assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == "" + + +def test_repetition_without_vad_is_dropped(): + fake = SileroDropsWhisper([raw(" විවිවිවිවිවිවිවි", 3.8, -0.26, ratio=6.0)]) + assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == "" + + +def test_partial_results_never_retry(): + """중간 결과는 원래 VAD 없이 한 번만 받는다.""" + fake = SileroDropsWhisper(EFFECT_VOICE) + recognizer(fake).transcribe(FIVE_SECONDS, fast=True, target_lang="ko") + assert fake.vad_calls == [False]