Files
live-app-translator/tests/test_asr_language.py
EJClaw 53ccbcf677
Some checks failed
Windows / verify (push) Has been cancelled
fix: 한국인 억양 영어를 한국어로 감지해 한글 음차로 적던 것
원본 언어가 '자동 감지'일 때 Whisper 는 말의 언어보다 억양을 보고 언어를
고른다. 한국어 화자가 말한 영어는 한국어로 감지되고 "스나이퍼 온 더
루프탑" 처럼 소리 나는 대로 적혀, 원문=번역 언어가 되어 번역도 건너뛰었다.
실측(한국어 TTS 가 영어를 읽은 10문장): small·turbo 모두 10/10 한국어 감지.

번역 대상 언어(또는 지원 밖 언어)로 감지된 확정 문장만 한 번 더 받아 적는다.
- 대안 언어는 영어 우선. 확률 순으로 고르면 일본어가 뽑혀 가타카나 음차가
  되고 확률도 높아 거를 수 없었다.
- 평균 log 확률이 크게 떨어지면(진짜 한국어를 영작한 경우) 버린다.
- 대안에 한글이 섞이면(small 이 언어를 못 바꾼 경우) 버린다.
- 압축률 2.4 초과(반복 환각)면 버린다.

결과: small·turbo(beam 1/2) 모두 억양 영어 10/10 영어로, 한국어 6/6 유지,
원어민 영어·무전 가공 음성은 그대로.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-09 02:27:41 +09:00

147 lines
5.3 KiB
Python

"""억양 때문에 언어를 잘못 감지했을 때 다시 받아 적는지 (모델 없이 가짜로)."""
from __future__ import annotations
from types import SimpleNamespace
import numpy as np
from livesub.models.asr import SpeechRecognizer
from livesub.models.tiers import AsrSpec
AUDIO = np.zeros(16_000, dtype=np.float32)
def seg(text: str, logprob: float, tokens: int = 10):
return SimpleNamespace(text=text, avg_logprob=logprob, tokens=list(range(tokens)))
class FakeWhisper:
"""언어별로 정해 둔 결과를 돌려준다. language=None 이면 `detected` 로 감지한 척."""
def __init__(
self,
detected: str,
probs: dict[str, float],
results: dict[str, tuple],
ratios: dict[str, float] | None = None,
):
self.ratios = ratios or {}
self.detected = detected
self.probs = probs
self.results = results
self.calls: list[str | None] = []
def transcribe(self, audio, language=None, **_):
self.calls.append(language)
lang = language or self.detected
text, logprob = self.results.get(lang, ("", 0.0))
info = SimpleNamespace(
language=lang,
language_probability=self.probs.get(lang, 1.0),
duration=1.0,
all_language_probs=list(self.probs.items()) if language is None else None,
)
segment = seg(text, logprob)
segment.compression_ratio = self.ratios.get(lang, 1.2)
return iter([segment]), info
def recognizer(fake: FakeWhisper) -> SpeechRecognizer:
rec = SpeechRecognizer(AsrSpec("fake", "int8", 1, 0), device="cpu")
rec._model = fake
return rec
# 실제 측정값을 그대로 옮겼다 (large-v3-turbo, 한국어 TTS 음성이 영어를 읽음).
ACCENTED = FakeWhisper(
"ko",
{"ko": 0.97, "en": 0.02, "ja": 0.005},
{"ko": ("스나이퍼 온 더 루프타프, 노스 사이드.", -0.252),
"en": ("Sniper on the rooftop North side.", -0.487)},
)
def test_korean_accented_english_is_rewritten_in_english():
t = recognizer(ACCENTED).transcribe(AUDIO, target_lang="ko")
assert t.language == "en"
assert t.text == "Sniper on the rooftop North side."
def test_english_is_tried_even_when_japanese_scores_higher():
"""small 모델 실측: 일본어 확률이 영어보다 높지만 일본어로 받으면 가타카나 음차가 된다."""
fake = FakeWhisper(
"ko",
{"ko": 0.77, "ja": 0.13, "en": 0.07, "zh": 0.01},
{"ko": ("스나이퍼 온 더 루프탑, 노스 사이드.", -0.505),
"ja": ("スナイフォンとループタップ、ノスサイド。", -0.509),
"en": ("Sniper on the rooftop, Northside.", -0.363)},
)
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
assert (t.language, t.text) == ("en", "Sniper on the rooftop, Northside.")
assert fake.calls == [None, "en"] # 다시 받는 건 한 번뿐
def test_repetition_loop_is_rejected():
"""반복 환각은 확률이 높게 나와서 압축률로 거른다."""
fake = FakeWhisper(
"nn",
{"nn": 0.6, "en": 0.3},
{"nn": ("hmm", -0.9), "en": ("the the the the the the the the the the the the", -0.1)},
ratios={"en": 9.0},
)
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
assert t.text == "hmm"
def test_real_korean_stays_korean():
"""진짜 한국어를 영어로 받으면 엉뚱한 영작이 되고 확률이 크게 떨어진다."""
fake = FakeWhisper(
"ko",
{"ko": 1.0, "en": 0.0},
{"ko": ("잘했어 다음 판도 가자.", -0.284), "en": ("Well done, next time.", -1.074)},
)
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
assert (t.language, t.text) == ("ko", "잘했어 다음 판도 가자.")
def test_alternative_still_in_hangul_is_rejected():
"""작은 모델은 '영어로' 받으라 해도 진짜 한국어를 한글로 그대로 적는다."""
fake = FakeWhisper(
"ko",
{"ko": 0.99, "en": 0.0},
{"ko": ("잘했어 다음 판도 가자", -0.40), "en": ("잘했어 다음 판도 가자", -0.44)},
)
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
assert t.language == "ko"
def test_no_second_pass_when_language_differs_from_target():
fake = FakeWhisper("en", {"en": 0.99, "ko": 0.01}, {"en": ("Fall back now.", -0.2)})
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
assert t.language == "en"
assert fake.calls == [None]
def test_fixed_source_language_is_never_second_guessed():
fake = FakeWhisper("ko", {}, {"ko": ("안녕", -0.1)})
recognizer(fake).transcribe(AUDIO, language="ko", target_lang="ko")
assert fake.calls == ["ko"]
def test_partial_results_skip_the_second_pass():
"""중간 결과는 빨라야 한다. 확정 문장에서만 다시 따진다."""
recognizer(ACCENTED).transcribe(AUDIO, fast=True, target_lang="ko")
assert ACCENTED.calls[-1] is None
def test_unsupported_language_falls_back_to_best_supported():
"""지원 언어가 아니면 번역을 못 하므로 지원 언어 중 가장 그럴듯한 쪽으로."""
fake = FakeWhisper(
"nn",
{"nn": 0.5, "en": 0.3, "ko": 0.1},
{"nn": ("Nice skot", -0.9), "en": ("Nice shot", -0.5)},
)
t = recognizer(fake).transcribe(AUDIO, target_lang="ko")
assert (t.language, t.text) == ("en", "Nice shot")