Some checks failed
Windows / verify (push) Has been cancelled
Silero 가 버린 구간을 VAD 없이 다시 받을 때 직전 문장을 prompt 로 넘겼다.
말소리가 없으면 Whisper 는 prompt 를 그대로 따라 적어서, 한 번 "Okay." 가
나오면 그 뒤 잡음마다 "Okay." 가 나왔다 (turbo, 잡음 11종 모두). 다시 받을
때는 prompt 를 넘기지 않고, prompt 없이도 잡음에서 나오는 상투 환각
("Obrigado." "you" "Thank you." 등)은 버린다. 수정 후 같은 잡음 22건 중
자막이 나온 것 0건.
로그 탭: 실행 중 로그 전체를 메모리에 모아 보여주고 복사·파일 저장을
지원한다. 확정 자막마다 원문·번역·확률을, VAD 없이 다시 받은 구간은 채택/
버림 결과를 INFO 로 남겨 엉뚱한 자막의 원인을 로그로 볼 수 있게 했다.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
230 lines
8.5 KiB
Python
230 lines
8.5 KiB
Python
"""억양 때문에 언어를 잘못 감지했을 때 다시 받아 적는지 (모델 없이 가짜로)."""
|
|
|
|
from __future__ import annotations
|
|
|
|
from types import SimpleNamespace
|
|
|
|
import numpy as np
|
|
import pytest
|
|
|
|
from livesub.models.asr import SpeechRecognizer
|
|
from livesub.models.tiers import AsrSpec
|
|
|
|
AUDIO = np.zeros(16_000, dtype=np.float32)
|
|
|
|
|
|
def seg(text: str, logprob: float, tokens: int = 10):
|
|
return SimpleNamespace(text=text, avg_logprob=logprob, tokens=list(range(tokens)))
|
|
|
|
|
|
class FakeWhisper:
|
|
"""언어별로 정해 둔 결과를 돌려준다. language=None 이면 `detected` 로 감지한 척."""
|
|
|
|
def __init__(
|
|
self,
|
|
detected: str,
|
|
probs: dict[str, float],
|
|
results: dict[str, tuple],
|
|
ratios: dict[str, float] | None = None,
|
|
):
|
|
self.ratios = ratios or {}
|
|
self.detected = detected
|
|
self.probs = probs
|
|
self.results = results
|
|
self.calls: list[str | None] = []
|
|
|
|
def transcribe(self, audio, language=None, **_):
|
|
self.calls.append(language)
|
|
lang = language or self.detected
|
|
text, logprob = self.results.get(lang, ("", 0.0))
|
|
info = SimpleNamespace(
|
|
language=lang,
|
|
language_probability=self.probs.get(lang, 1.0),
|
|
duration=1.0,
|
|
all_language_probs=list(self.probs.items()) if language is None else None,
|
|
)
|
|
segment = seg(text, logprob)
|
|
segment.compression_ratio = self.ratios.get(lang, 1.2)
|
|
return iter([segment]), info
|
|
|
|
|
|
def recognizer(fake: FakeWhisper) -> SpeechRecognizer:
|
|
rec = SpeechRecognizer(AsrSpec("fake", "int8", 1, 0), device="cpu")
|
|
rec._model = fake
|
|
return rec
|
|
|
|
|
|
# 실제 측정값을 그대로 옮겼다 (large-v3-turbo, 한국어 TTS 음성이 영어를 읽음).
|
|
ACCENTED = FakeWhisper(
|
|
"ko",
|
|
{"ko": 0.97, "en": 0.02, "ja": 0.005},
|
|
{"ko": ("스나이퍼 온 더 루프타프, 노스 사이드.", -0.252),
|
|
"en": ("Sniper on the rooftop North side.", -0.487)},
|
|
)
|
|
|
|
|
|
def test_korean_accented_english_is_rewritten_in_english():
|
|
t = recognizer(ACCENTED).transcribe(AUDIO, target_lang="ko")
|
|
assert t.language == "en"
|
|
assert t.text == "Sniper on the rooftop North side."
|
|
|
|
|
|
def test_english_is_tried_even_when_japanese_scores_higher():
|
|
"""small 모델 실측: 일본어 확률이 영어보다 높지만 일본어로 받으면 가타카나 음차가 된다."""
|
|
fake = FakeWhisper(
|
|
"ko",
|
|
{"ko": 0.77, "ja": 0.13, "en": 0.07, "zh": 0.01},
|
|
{"ko": ("스나이퍼 온 더 루프탑, 노스 사이드.", -0.505),
|
|
"ja": ("スナイフォンとループタップ、ノスサイド。", -0.509),
|
|
"en": ("Sniper on the rooftop, Northside.", -0.363)},
|
|
)
|
|
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
|
|
assert (t.language, t.text) == ("en", "Sniper on the rooftop, Northside.")
|
|
assert fake.calls == [None, "en"] # 다시 받는 건 한 번뿐
|
|
|
|
|
|
def test_repetition_loop_is_rejected():
|
|
"""반복 환각은 확률이 높게 나와서 압축률로 거른다."""
|
|
fake = FakeWhisper(
|
|
"nn",
|
|
{"nn": 0.6, "en": 0.3},
|
|
{"nn": ("hmm", -0.9), "en": ("the the the the the the the the the the the the", -0.1)},
|
|
ratios={"en": 9.0},
|
|
)
|
|
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
|
|
assert t.text == "hmm"
|
|
|
|
|
|
def test_real_korean_stays_korean():
|
|
"""진짜 한국어를 영어로 받으면 엉뚱한 영작이 되고 확률이 크게 떨어진다."""
|
|
fake = FakeWhisper(
|
|
"ko",
|
|
{"ko": 1.0, "en": 0.0},
|
|
{"ko": ("잘했어 다음 판도 가자.", -0.284), "en": ("Well done, next time.", -1.074)},
|
|
)
|
|
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
|
|
assert (t.language, t.text) == ("ko", "잘했어 다음 판도 가자.")
|
|
|
|
|
|
def test_alternative_still_in_hangul_is_rejected():
|
|
"""작은 모델은 '영어로' 받으라 해도 진짜 한국어를 한글로 그대로 적는다."""
|
|
fake = FakeWhisper(
|
|
"ko",
|
|
{"ko": 0.99, "en": 0.0},
|
|
{"ko": ("잘했어 다음 판도 가자", -0.40), "en": ("잘했어 다음 판도 가자", -0.44)},
|
|
)
|
|
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
|
|
assert t.language == "ko"
|
|
|
|
|
|
def test_no_second_pass_when_language_differs_from_target():
|
|
fake = FakeWhisper("en", {"en": 0.99, "ko": 0.01}, {"en": ("Fall back now.", -0.2)})
|
|
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
|
|
assert t.language == "en"
|
|
assert fake.calls == [None]
|
|
|
|
|
|
def test_fixed_source_language_is_never_second_guessed():
|
|
fake = FakeWhisper("ko", {}, {"ko": ("안녕", -0.1)})
|
|
recognizer(fake).transcribe(AUDIO, language="ko", target_lang="ko")
|
|
assert fake.calls == ["ko"]
|
|
|
|
|
|
def test_partial_results_skip_the_second_pass():
|
|
"""중간 결과는 빨라야 한다. 확정 문장에서만 다시 따진다."""
|
|
recognizer(ACCENTED).transcribe(AUDIO, fast=True, target_lang="ko")
|
|
assert ACCENTED.calls[-1] is None
|
|
|
|
|
|
def test_unsupported_language_falls_back_to_best_supported():
|
|
"""지원 언어가 아니면 번역을 못 하므로 지원 언어 중 가장 그럴듯한 쪽으로."""
|
|
fake = FakeWhisper(
|
|
"nn",
|
|
{"nn": 0.5, "en": 0.3, "ko": 0.1},
|
|
{"nn": ("Nice skot", -0.9), "en": ("Nice shot", -0.5)},
|
|
)
|
|
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
|
|
assert (t.language, t.text) == ("en", "Nice shot")
|
|
|
|
|
|
class SileroDropsWhisper:
|
|
"""Silero VAD 를 켜면 아무것도 못 받고, 끄면 정해 둔 구간을 돌려준다."""
|
|
|
|
def __init__(self, segments):
|
|
self.segments = segments
|
|
self.vad_calls: list[bool] = []
|
|
self.prompts: list[str | None] = []
|
|
|
|
def transcribe(self, audio, language=None, vad_filter=False, initial_prompt=None, **_):
|
|
self.vad_calls.append(vad_filter)
|
|
self.prompts.append(initial_prompt)
|
|
info = SimpleNamespace(
|
|
language="en", language_probability=0.9, duration=audio.size / 16_000,
|
|
all_language_probs=[("en", 0.9)],
|
|
)
|
|
return iter([] if vad_filter else self.segments), info
|
|
|
|
|
|
def raw(text: str, end: float, logprob: float, ratio: float = 1.0):
|
|
s = seg(text, logprob)
|
|
s.end = end
|
|
s.compression_ratio = ratio
|
|
return s
|
|
|
|
|
|
# 실측값 (large-v3-turbo, 사용자 게임 녹음 5.2초 구간). Silero 확률이 0.14 라 통째로 버려졌다.
|
|
EFFECT_VOICE = [raw(" Get up!", 2.0, -0.73), raw(" Over here!", 4.0, -0.73)]
|
|
FIVE_SECONDS = np.zeros(5 * 16_000, dtype=np.float32)
|
|
|
|
|
|
def test_voice_dropped_by_silero_is_recovered_without_vad():
|
|
fake = SileroDropsWhisper(EFFECT_VOICE)
|
|
t = recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko")
|
|
assert t.text == "Get up! Over here!"
|
|
assert fake.vad_calls == [True, False]
|
|
|
|
|
|
def test_noise_hallucination_running_to_window_end_is_dropped():
|
|
"""말소리가 없으면 30초 창 끝까지 이어진 'Thank you.' 가 나온다 (turbo 실측)."""
|
|
fake = SileroDropsWhisper([raw(" Thank you.", 29.98, -0.77)])
|
|
assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == ""
|
|
|
|
|
|
def test_low_confidence_noise_word_is_dropped():
|
|
fake = SileroDropsWhisper([raw(" Oh.", 0.5, -1.12)])
|
|
assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == ""
|
|
|
|
|
|
def test_repetition_without_vad_is_dropped():
|
|
fake = SileroDropsWhisper([raw(" විවිවිවිවිවිවිවි", 3.8, -0.26, ratio=6.0)])
|
|
assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == ""
|
|
|
|
|
|
def test_retry_without_vad_does_not_echo_previous_line():
|
|
"""말소리가 없으면 Whisper 는 prompt 를 따라 적는다. 다시 받을 때는 넘기지 않는다."""
|
|
fake = SileroDropsWhisper(EFFECT_VOICE)
|
|
recognizer(fake).transcribe(FIVE_SECONDS, prompt="Okay.", target_lang="ko")
|
|
assert fake.prompts == ["Okay.", None]
|
|
|
|
|
|
# 실측값 (turbo, 잡음만 넣고 Silero 없이 받음). 모두 확률·길이 기준을 통과한다.
|
|
@pytest.mark.parametrize(
|
|
"noise",
|
|
[
|
|
raw(" Okay.", 2.0, -0.76), # 직전 자막 "Okay." 를 prompt 로 줬을 때
|
|
raw(" Obrigado.", 1.0, -0.31),
|
|
raw(" you", 3.0, -0.95),
|
|
],
|
|
ids=["okay", "obrigado", "you"],
|
|
)
|
|
def test_stock_hallucination_without_vad_is_dropped(noise):
|
|
fake = SileroDropsWhisper([noise])
|
|
assert recognizer(fake).transcribe(FIVE_SECONDS, target_lang="ko").text == ""
|
|
|
|
|
|
def test_partial_results_never_retry():
|
|
"""중간 결과는 원래 VAD 없이 한 번만 받는다."""
|
|
fake = SileroDropsWhisper(EFFECT_VOICE)
|
|
recognizer(fake).transcribe(FIVE_SECONDS, fast=True, target_lang="ko")
|
|
assert fake.vad_calls == [False]
|