1 Commits

Author SHA1 Message Date
EJClaw
1f59ed0679 fix: exe 에서 자막이 하나도 안 나오던 것 (Silero VAD 모델 누락)
Some checks failed
Windows / verify (push) Has been cancelled
포터블 exe 에 faster_whisper/assets/silero_vad_v6.onnx 가 빠져 있었다.
확정 문장 인식은 vad_filter=True 라서 매번 NoSuchFile 로 실패했고,
엔진이 경고 로그만 남기고 넘어가 어떤 목소리도 자막이 되지 않았다.
소스 점검(--pipeline)은 파일이 있는 venv 에서 돌아 통과했다.

- livesub.spec: collect_data_files("faster_whisper") 로 assets 를 넣는다.
- windows_smoke --exe: exe 안에 VAD 모델·용어집이 들어 있는지 확인한다.
  test7 exe 에 돌리면 silero_vad_v6.onnx 가 빠졌다고 실패한다.

함께, 효과가 걸린 게임 목소리를 Silero 가 통째로 버리던 것도 고친다.
사용자 녹음의 "Get up! Over here!" 는 Silero 확률이 0.14 라 사라졌다.
Silero 가 구간 전체를 버렸을 때만 VAD 없이 한 번 더 받고, 잡음 환각은
창 끝까지 이어진 구간(Thank you. 29.98s), 낮은 log 확률(< -1.0),
높은 압축률로 거른다. 실제 모델(turbo·small)로 사용자 녹음 대사 3개를
모두 받고 잡음 구간 5곳은 모두 빈 결과임을 확인했다.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-09 17:29:00 +09:00
4 changed files with 132 additions and 16 deletions

View File

@@ -27,7 +27,7 @@
from pathlib import Path
from PyInstaller.utils.hooks import collect_dynamic_libs
from PyInstaller.utils.hooks import collect_data_files, collect_dynamic_libs
BLOCK_CIPHER = None
ROOT = Path(SPECPATH).parent # noqa: F821 - PyInstaller 가 주입
@@ -39,6 +39,11 @@ capture_exe = SRC / "livesub" / "resources" / "bin" / "livesub_capture.exe"
if capture_exe.is_file():
datas.append((str(capture_exe), "livesub/resources/bin"))
# faster-whisper 는 문장을 확정할 때 Silero VAD 모델(assets/silero_vad_v6.onnx)을
# 패키지 폴더에서 읽는다. .py 가 아닌 파일이라 PyInstaller 가 자동으로 넣지 않고,
# 빠지면 확정 문장 인식이 매번 실패해 자막이 하나도 안 나온다 (v0.3.0-test7 까지).
datas += collect_data_files("faster_whisper")
# CTranslate2 는 CUDA/cuDNN DLL 을 곁에 두고 로드한다. 자동 수집에서 빠지기 쉽다.
binaries = collect_dynamic_libs("ctranslate2")

View File

@@ -526,6 +526,21 @@ def _scratch_appdata():
shutil.rmtree(tmp, ignore_errors=True)
#: exe 안에 반드시 있어야 하는 .py 아닌 파일. 빠져도 창은 잘 뜨고 소스 점검도
#: 통과하므로, 실제로 말소리가 들어올 때가 돼서야 터진다.
EXE_REQUIRED_FILES = (
"faster_whisper/assets/silero_vad_v6.onnx", # 확정 문장 인식의 VAD
"livesub/resources/glossaries/fps-common.json",
)
def missing_bundle_files(exe: Path) -> list[str]:
from PyInstaller.archive.readers import CArchiveReader
names = {name.replace("\\", "/") for name in CArchiveReader(str(exe)).toc}
return [f for f in EXE_REQUIRED_FILES if f not in names]
def run_exe_check(exe: Path) -> None:
print(f"\n=== 빌드된 exe 점검: {exe} ===")
@@ -538,6 +553,13 @@ def run_exe_check(exe: Path) -> None:
raise RuntimeError(f"{mb:.0f}MB — 너무 큼. torch 가 섞여 들어갔는지 확인")
return f"{mb:.1f} MB"
@check("exe 에 실행 중 읽는 파일이 들어 있는지")
def _bundled_files():
missing = missing_bundle_files(exe)
if missing:
raise RuntimeError(f"빠짐: {', '.join(missing)}")
return f"{len(EXE_REQUIRED_FILES)}개 확인"
@check("exe 첫 실행 — 저장 위치 화면")
def _first_run():
# APPDATA 를 빈 폴더로 돌려 "처음 켜는 사람" 을 그대로 재현한다.

View File

@@ -9,7 +9,7 @@ from dataclasses import dataclass, field
import numpy as np
from ..constants import LANGUAGE_CODES, models_dir
from ..constants import LANGUAGE_CODES, SAMPLE_RATE, models_dir
from .tiers import AsrSpec
log = logging.getLogger(__name__)
@@ -27,6 +27,15 @@ ALT_LANGUAGE_MAX_LOGPROB_DROP = -0.45
#: 반복 루프는 확률이 높게 나와서 log 확률만으로는 걸러지지 않는다.
MAX_COMPRESSION_RATIO = 2.4
#: Silero 없이 다시 받은 결과를 믿는 최저 토큰당 평균 log 확률. Whisper 원본의
#: logprob_threshold 와 같은 값이다. 게임 잡음에서 나오는 "Oh." "you" 같은 환각은
#: -1.1 대로 나오고, 효과 걸린 실제 대사는 -0.3 ~ -0.8 로 나온다 (실측).
FALLBACK_MIN_LOGPROB = -1.0
#: 구간이 실제 오디오보다 이만큼(초) 넘게 끝나면 환각이다. 말소리가 없으면 Whisper 는
#: 타임스탬프를 못 찍고 30초 창 끝까지 이어진 "Thank you." 를 내놓는다.
FALLBACK_MAX_OVERRUN_S = 1.0
#: 다시 받은 결과에 이 글자가 섞여 있으면 모델이 언어를 바꾸지 못한 것이다.
#: (진짜 한국어를 small 모델로 '영어로' 받으면 한글을 그대로 적는다.)
_SCRIPT = {
@@ -131,20 +140,15 @@ class SpeechRecognizer:
def _run(
self, audio: np.ndarray, language: str | None, fast: bool, prompt: str
) -> Transcript:
assert self._model is not None
with self._lock:
segments, info = self._model.transcribe(
audio.astype(np.float32, copy=False),
language=language,
beam_size=1 if fast else self.spec.beam_size,
temperature=0.0,
condition_on_previous_text=False,
initial_prompt=prompt or None,
vad_filter=not fast,
vad_parameters={"min_silence_duration_ms": 300},
word_timestamps=False,
)
segments = list(segments)
segments, info = self._decode(audio, language, fast, prompt, vad=not fast)
if not fast and not any(s.text.strip() for s in segments):
# Silero VAD 가 구간을 통째로 버렸다. 효과가 걸린 게임 목소리("Get up!
# Over here!")는 Silero 확률이 0.1 대로 나와서 여기서 사라진다. 이 구간은
# 이미 우리 분할기가 말소리로 본 것이므로 VAD 없이 한 번 더 받되, 잡음에서
# 나오는 환각("Thank you.")은 `_plausible` 로 거른다.
segments, info = self._decode(audio, language, fast, prompt, vad=False)
duration = audio.size / SAMPLE_RATE
segments = [s for s in segments if _plausible(s, duration)]
text = " ".join(s.text.strip() for s in segments if s.text.strip()).strip()
tokens = sum(len(getattr(s, "tokens", ()) or ()) for s in segments)
@@ -167,6 +171,24 @@ class SpeechRecognizer:
language_probs={str(k): float(v) for k, v in probs},
)
def _decode(
self, audio: np.ndarray, language: str | None, fast: bool, prompt: str, vad: bool
) -> tuple[list, object]:
assert self._model is not None
with self._lock:
segments, info = self._model.transcribe(
audio.astype(np.float32, copy=False),
language=language,
beam_size=1 if fast else self.spec.beam_size,
temperature=0.0,
condition_on_previous_text=False,
initial_prompt=prompt or None,
vad_filter=vad,
vad_parameters={"min_silence_duration_ms": 300} if vad else None,
word_timestamps=False,
)
return list(segments), info
def _alternative_language(
probs: dict[str, float], detected: str, supported: bool
@@ -191,6 +213,15 @@ def _most_likely(candidates: list[str], probs: dict[str, float]) -> str | None:
return max(known, key=lambda c: probs[c]) if known else None
def _plausible(segment, duration_s: float) -> bool:
"""Silero 없이 받은 구간이 실제 말소리를 받아 적은 것으로 보이는가."""
if float(getattr(segment, "end", 0.0) or 0.0) > duration_s + FALLBACK_MAX_OVERRUN_S:
return False
if float(getattr(segment, "compression_ratio", 0.0) or 0.0) > MAX_COMPRESSION_RATIO:
return False
return float(getattr(segment, "avg_logprob", 0.0)) >= FALLBACK_MIN_LOGPROB
def _accept_alternative(first: Transcript, alt: Transcript, avoided: str) -> bool:
if not alt.text:
return False

View File

@@ -144,3 +144,61 @@ def test_unsupported_language_falls_back_to_best_supported():
)
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
assert (t.language, t.text) == ("en", "Nice shot")
class SileroDropsWhisper:
"""Silero VAD 를 켜면 아무것도 못 받고, 끄면 정해 둔 구간을 돌려준다."""
def __init__(self, segments):
self.segments = segments
self.vad_calls: list[bool] = []
def transcribe(self, audio, language=None, vad_filter=False, **_):
self.vad_calls.append(vad_filter)
info = SimpleNamespace(
language="en", language_probability=0.9, duration=audio.size / 16_000,
all_language_probs=[("en", 0.9)],
)
return iter([] if vad_filter else self.segments), info
def raw(text: str, end: float, logprob: float, ratio: float = 1.0):
s = seg(text, logprob)
s.end = end
s.compression_ratio = ratio
return s
# 실측값 (large-v3-turbo, 사용자 게임 녹음 5.2초 구간). Silero 확률이 0.14 라 통째로 버려졌다.
EFFECT_VOICE = [raw(" Get up!", 2.0, -0.73), raw(" Over here!", 4.0, -0.73)]
FIVE_SECONDS = np.zeros(5 * 16_000, dtype=np.float32)
def test_voice_dropped_by_silero_is_recovered_without_vad():
fake = SileroDropsWhisper(EFFECT_VOICE)
t = recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko")
assert t.text == "Get up! Over here!"
assert fake.vad_calls == [True, False]
def test_noise_hallucination_running_to_window_end_is_dropped():
"""말소리가 없으면 30초 창 끝까지 이어진 'Thank you.' 가 나온다 (turbo 실측)."""
fake = SileroDropsWhisper([raw(" Thank you.", 29.98, -0.77)])
assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == ""
def test_low_confidence_noise_word_is_dropped():
fake = SileroDropsWhisper([raw(" Oh.", 0.5, -1.12)])
assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == ""
def test_repetition_without_vad_is_dropped():
fake = SileroDropsWhisper([raw(" විවිවිවිවිවිවිවි", 3.8, -0.26, ratio=6.0)])
assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == ""
def test_partial_results_never_retry():
"""중간 결과는 원래 VAD 없이 한 번만 받는다."""
fake = SileroDropsWhisper(EFFECT_VOICE)
recognizer(fake).transcribe(FIVE_SECONDS, fast=True, target_lang="ko")
assert fake.vad_calls == [False]