"""억양 때문에 언어를 잘못 감지했을 때 다시 받아 적는지 (모델 없이 가짜로).""" from __future__ import annotations from types import SimpleNamespace import numpy as np from livesub.models.asr import SpeechRecognizer from livesub.models.tiers import AsrSpec AUDIO = np.zeros(16_000, dtype=np.float32) def seg(text: str, logprob: float, tokens: int = 10): return SimpleNamespace(text=text, avg_logprob=logprob, tokens=list(range(tokens))) class FakeWhisper: """언어별로 정해 둔 결과를 돌려준다. language=None 이면 `detected` 로 감지한 척.""" def __init__( self, detected: str, probs: dict[str, float], results: dict[str, tuple], ratios: dict[str, float] | None = None, ): self.ratios = ratios or {} self.detected = detected self.probs = probs self.results = results self.calls: list[str | None] = [] def transcribe(self, audio, language=None, **_): self.calls.append(language) lang = language or self.detected text, logprob = self.results.get(lang, ("", 0.0)) info = SimpleNamespace( language=lang, language_probability=self.probs.get(lang, 1.0), duration=1.0, all_language_probs=list(self.probs.items()) if language is None else None, ) segment = seg(text, logprob) segment.compression_ratio = self.ratios.get(lang, 1.2) return iter([segment]), info def recognizer(fake: FakeWhisper) -> SpeechRecognizer: rec = SpeechRecognizer(AsrSpec("fake", "int8", 1, 0), device="cpu") rec._model = fake return rec # 실제 측정값을 그대로 옮겼다 (large-v3-turbo, 한국어 TTS 음성이 영어를 읽음). ACCENTED = FakeWhisper( "ko", {"ko": 0.97, "en": 0.02, "ja": 0.005}, {"ko": ("스나이퍼 온 더 루프타프, 노스 사이드.", -0.252), "en": ("Sniper on the rooftop North side.", -0.487)}, ) def test_korean_accented_english_is_rewritten_in_english(): t = recognizer(ACCENTED).transcribe(AUDIO, target_lang="ko") assert t.language == "en" assert t.text == "Sniper on the rooftop North side." def test_english_is_tried_even_when_japanese_scores_higher(): """small 모델 실측: 일본어 확률이 영어보다 높지만 일본어로 받으면 가타카나 음차가 된다.""" fake = FakeWhisper( "ko", {"ko": 0.77, "ja": 0.13, "en": 0.07, "zh": 0.01}, {"ko": ("스나이퍼 온 더 루프탑, 노스 사이드.", -0.505), "ja": ("スナイフォンとループタップ、ノスサイド。", -0.509), "en": ("Sniper on the rooftop, Northside.", -0.363)}, ) t = recognizer(fake).transcribe(AUDIO, target_lang="ko") assert (t.language, t.text) == ("en", "Sniper on the rooftop, Northside.") assert fake.calls == [None, "en"] # 다시 받는 건 한 번뿐 def test_repetition_loop_is_rejected(): """반복 환각은 확률이 높게 나와서 압축률로 거른다.""" fake = FakeWhisper( "nn", {"nn": 0.6, "en": 0.3}, {"nn": ("hmm", -0.9), "en": ("the the the the the the the the the the the the", -0.1)}, ratios={"en": 9.0}, ) t = recognizer(fake).transcribe(AUDIO, target_lang="ko") assert t.text == "hmm" def test_real_korean_stays_korean(): """진짜 한국어를 영어로 받으면 엉뚱한 영작이 되고 확률이 크게 떨어진다.""" fake = FakeWhisper( "ko", {"ko": 1.0, "en": 0.0}, {"ko": ("잘했어 다음 판도 가자.", -0.284), "en": ("Well done, next time.", -1.074)}, ) t = recognizer(fake).transcribe(AUDIO, target_lang="ko") assert (t.language, t.text) == ("ko", "잘했어 다음 판도 가자.") def test_alternative_still_in_hangul_is_rejected(): """작은 모델은 '영어로' 받으라 해도 진짜 한국어를 한글로 그대로 적는다.""" fake = FakeWhisper( "ko", {"ko": 0.99, "en": 0.0}, {"ko": ("잘했어 다음 판도 가자", -0.40), "en": ("잘했어 다음 판도 가자", -0.44)}, ) t = recognizer(fake).transcribe(AUDIO, target_lang="ko") assert t.language == "ko" def test_no_second_pass_when_language_differs_from_target(): fake = FakeWhisper("en", {"en": 0.99, "ko": 0.01}, {"en": ("Fall back now.", -0.2)}) t = recognizer(fake).transcribe(AUDIO, target_lang="ko") assert t.language == "en" assert fake.calls == [None] def test_fixed_source_language_is_never_second_guessed(): fake = FakeWhisper("ko", {}, {"ko": ("안녕", -0.1)}) recognizer(fake).transcribe(AUDIO, language="ko", target_lang="ko") assert fake.calls == ["ko"] def test_partial_results_skip_the_second_pass(): """중간 결과는 빨라야 한다. 확정 문장에서만 다시 따진다.""" recognizer(ACCENTED).transcribe(AUDIO, fast=True, target_lang="ko") assert ACCENTED.calls[-1] is None def test_unsupported_language_falls_back_to_best_supported(): """지원 언어가 아니면 번역을 못 하므로 지원 언어 중 가장 그럴듯한 쪽으로.""" fake = FakeWhisper( "nn", {"nn": 0.5, "en": 0.3, "ko": 0.1}, {"nn": ("Nice skot", -0.9), "en": ("Nice shot", -0.5)}, ) t = recognizer(fake).transcribe(AUDIO, target_lang="ko") assert (t.language, t.text) == ("en", "Nice shot")