feat: 자동 언어 감지 4개 언어로 확장 (한/영/일/중)
- split_by_language: 가나/한자 CJK 처리(가나 있으면 JP, 없으면 ZH) - JP/ZH 언어·화자 추가, AUTO 구간별 화자 매핑 - warmup에 JP/ZH 모델 사전 다운로드 추가
This commit is contained in:
claude
@@ -32,57 +32,79 @@ EN_SPEAKERS = [
|
||||
{"id": "EN-Default", "label": "영어 · 기본"},
|
||||
]
|
||||
KR_SPEAKERS = [{"id": "KR", "label": "한국어 기본 목소리"}]
|
||||
JP_SPEAKERS = [{"id": "JP", "label": "일본어 기본 목소리"}]
|
||||
ZH_SPEAKERS = [{"id": "ZH", "label": "중국어 기본 목소리"}]
|
||||
|
||||
# 실제 MeloTTS 언어 코드
|
||||
MELO_LANG = {"KR": "KR", "EN": "EN"}
|
||||
# 실제 MeloTTS 언어 코드 (한/영/일/중)
|
||||
MELO_LANG = {"KR": "KR", "EN": "EN", "JP": "JP", "ZH": "ZH"}
|
||||
|
||||
DEFAULT_LANG = "EN" # 판별 불가 구간의 기본 언어(사용자 요청: 기본값 영어)
|
||||
DEFAULT_LANG = "EN" # 판별 불가 구간의 기본 언어
|
||||
|
||||
_KR_RE = re.compile(r"[가-힣ᄀ-ᇿ-]")
|
||||
_EN_RE = re.compile(r"[A-Za-z]")
|
||||
# 일본어 가나(히라가나/가타카나/반각 가타카나)
|
||||
_KANA_RE = re.compile(r"[-ヿｦ-ﾝ]")
|
||||
# 한자(CJK 통합 한자) — 일본어/중국어 공유라 단독으로는 모호
|
||||
_HAN_RE = re.compile(r"[㐀-䶿一-鿿豈-]")
|
||||
|
||||
|
||||
def _pick_device() -> str:
|
||||
return "cuda:0" if torch.cuda.is_available() else "cpu"
|
||||
|
||||
|
||||
def split_by_language(text: str, default_lang: str = DEFAULT_LANG) -> list[tuple[str, str]]:
|
||||
"""텍스트를 한국어/영어 구간으로 분리.
|
||||
def _char_group(ch: str) -> str | None:
|
||||
"""문자를 그룹으로 분류: KR / EN / CJK(가나+한자) / None(중립)."""
|
||||
if _KR_RE.match(ch):
|
||||
return "KR"
|
||||
if _KANA_RE.match(ch) or _HAN_RE.match(ch):
|
||||
return "CJK"
|
||||
if _EN_RE.match(ch):
|
||||
return "EN"
|
||||
return None
|
||||
|
||||
숫자·기호·공백 등 언어 판별이 안 되는 문자는 인접(진행 중) 구간에 붙인다.
|
||||
전체가 판별 불가면 default_lang 으로 처리한다.
|
||||
|
||||
def split_by_language(text: str, default_lang: str = DEFAULT_LANG) -> list[tuple[str, str]]:
|
||||
"""입력을 언어별(한/영/일/중) 구간으로 분리.
|
||||
|
||||
- 한글→KR, 라틴문자→EN
|
||||
- 가나+한자는 하나의 CJK 구간으로 묶은 뒤, 가나가 있으면 일본어(JP), 없으면 중국어(ZH)로 판정
|
||||
- 숫자·기호·공백 등 중립 문자는 진행 중 구간에 붙임
|
||||
- 전체가 판별 불가면 default_lang(기본 영어)
|
||||
"""
|
||||
segments: list[tuple[str, str]] = []
|
||||
cur_lang: str | None = None
|
||||
raw: list[tuple[str, str]] = []
|
||||
cur_group: str | None = None
|
||||
cur: list[str] = []
|
||||
|
||||
for ch in text:
|
||||
if _KR_RE.match(ch):
|
||||
kind = "KR"
|
||||
elif _EN_RE.match(ch):
|
||||
kind = "EN"
|
||||
else:
|
||||
kind = None # 중립 문자
|
||||
|
||||
if kind is None:
|
||||
g = _char_group(ch)
|
||||
if g is None:
|
||||
cur.append(ch)
|
||||
continue
|
||||
if cur_lang is None:
|
||||
cur_lang = kind
|
||||
if cur_group is None:
|
||||
cur_group = g
|
||||
cur.append(ch)
|
||||
elif kind == cur_lang:
|
||||
elif g == cur_group:
|
||||
cur.append(ch)
|
||||
else:
|
||||
segments.append((cur_lang, "".join(cur)))
|
||||
cur_lang = kind
|
||||
raw.append((cur_group, "".join(cur)))
|
||||
cur_group = g
|
||||
cur = [ch]
|
||||
|
||||
if cur:
|
||||
lang = cur_lang if cur_lang is not None else default_lang
|
||||
segments.append((lang, "".join(cur)))
|
||||
raw.append((cur_group if cur_group is not None else "DEFAULT", "".join(cur)))
|
||||
|
||||
# 실제 발음 가능한(문자 포함) 구간만 유지
|
||||
return [(l, t) for l, t in segments if t.strip()]
|
||||
out: list[tuple[str, str]] = []
|
||||
for grp, seg in raw:
|
||||
if not seg.strip():
|
||||
continue
|
||||
if grp == "CJK":
|
||||
lang = "JP" if _KANA_RE.search(seg) else "ZH"
|
||||
elif grp in ("KR", "EN"):
|
||||
lang = grp
|
||||
else:
|
||||
lang = default_lang
|
||||
out.append((lang, seg))
|
||||
return out
|
||||
|
||||
|
||||
class MeloEngine(BaseEngine):
|
||||
@@ -90,7 +112,7 @@ class MeloEngine(BaseEngine):
|
||||
label = "MeloTTS"
|
||||
license = "MIT"
|
||||
uses_gpu = True
|
||||
notes = "자동 언어 감지: 한국어/영어 혼합 텍스트를 언어별로 나눠 각 음성으로 합성. 기본 영어."
|
||||
notes = "자동 언어 감지: 한국어/영어/일본어/중국어 혼합 텍스트를 언어별로 나눠 각 음성으로 합성. 기본 영어."
|
||||
|
||||
def __init__(self) -> None:
|
||||
self.device = _pick_device()
|
||||
@@ -123,11 +145,13 @@ class MeloEngine(BaseEngine):
|
||||
languages = [
|
||||
{
|
||||
"code": "AUTO",
|
||||
"label": "자동 감지 (한국어+영어)",
|
||||
"speakers": EN_SPEAKERS, # 영어 구간에 쓸 억양 선택 (한국어는 자동)
|
||||
"label": "자동 감지 (한/영/일/중)",
|
||||
"speakers": EN_SPEAKERS, # 영어 구간에 쓸 억양 선택 (그 외 언어는 자동)
|
||||
},
|
||||
{"code": "EN", "label": "English (영어)", "speakers": EN_SPEAKERS},
|
||||
{"code": "KR", "label": "한국어", "speakers": KR_SPEAKERS},
|
||||
{"code": "JP", "label": "日本語 (일본어)", "speakers": JP_SPEAKERS},
|
||||
{"code": "ZH", "label": "中文 (중국어)", "speakers": ZH_SPEAKERS},
|
||||
]
|
||||
return {
|
||||
"id": self.id,
|
||||
@@ -144,8 +168,9 @@ class MeloEngine(BaseEngine):
|
||||
spk2id = model.hps.data.spk2id
|
||||
if speaker and speaker in spk2id:
|
||||
return spk2id[speaker]
|
||||
default_id = "KR" if lang == "KR" else "EN-US"
|
||||
if default_id in spk2id:
|
||||
default_by_lang = {"KR": "KR", "EN": "EN-US", "JP": "JP", "ZH": "ZH"}
|
||||
default_id = default_by_lang.get(lang)
|
||||
if default_id and default_id in spk2id:
|
||||
return spk2id[default_id]
|
||||
return list(spk2id.values())[0]
|
||||
|
||||
@@ -181,6 +206,7 @@ class MeloEngine(BaseEngine):
|
||||
if language == "AUTO":
|
||||
# 영어 구간엔 사용자가 고른 억양, 한국어 구간엔 KR 음성
|
||||
en_speaker = speaker if (speaker and speaker.startswith("EN")) else "EN-US"
|
||||
spk_by_lang = {"KR": "KR", "EN": en_speaker, "JP": "JP", "ZH": "ZH"}
|
||||
parts = split_by_language(text, default_lang=DEFAULT_LANG)
|
||||
if not parts:
|
||||
parts = [(DEFAULT_LANG, text)]
|
||||
@@ -188,7 +214,7 @@ class MeloEngine(BaseEngine):
|
||||
sr = None
|
||||
gap = None
|
||||
for seg_lang, seg_text in parts:
|
||||
seg_spk = "KR" if seg_lang == "KR" else en_speaker
|
||||
seg_spk = spk_by_lang.get(seg_lang, en_speaker)
|
||||
audio, seg_sr = self._synth_segment(seg_text, seg_lang, seg_spk, speed)
|
||||
if sr is None:
|
||||
sr = seg_sr
|
||||
|
||||
Reference in New Issue
Block a user