- voice-changer/: install.bat (uv + Python 3.12 + pinned Applio + torch cu128), VoiceChanger.exe launcher (mingw), tkinter GUI (model list, auto ±12 pitch across genders, mic/output/monitor devices, latency, noise gate), train.bat (preprocess/extract/train/index → models/<id>), examples.bat (Korean example models from KSS + Zeroth-Korean), build-release.sh - consent-recorder: default OPERATOR_NAME=사금향 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
169 lines
7.3 KiB
Python
169 lines
7.3 KiB
Python
"""한국어 예시 모델 4개를 공개 데이터셋으로 학습한다 (게임PC GPU 로 한 번만 돌리면 됨).
|
|
|
|
- 여성 1: KSS (Korean Single Speaker Speech, 성우 1명, CC BY-NC-SA 4.0, 비상업)
|
|
- 남성 1 · 남성 2 · 여성 2: Zeroth-Korean (OpenSLR 40, CC BY 4.0). 화자 이름 대신 화자 번호만 쓴다.
|
|
|
|
Zeroth 는 10GB 압축 파일이라 처음부터 흘려 읽다가 필요한 화자 녹음이 모이면 내려받기를 멈춘다.
|
|
Zeroth 원본은 16kHz 라 KSS(44.1kHz)보다 고음이 덜 또렷하다. 그래서 32kHz 모델로 학습한다.
|
|
|
|
examples.bat # 4개 모두
|
|
examples.bat --only kss --minutes 3 --epochs 1 # 빠른 확인용
|
|
"""
|
|
import argparse
|
|
import io
|
|
import sys
|
|
import tarfile
|
|
import urllib.request
|
|
from pathlib import Path
|
|
|
|
from common import DATASETS, MODELS
|
|
|
|
KSS_URL = "https://huggingface.co/datasets/Bingsu/KSS_Dataset/resolve/main/data/train-00000-of-00007.parquet"
|
|
ZEROTH_URL = "https://www.openslr.org/resources/40/zeroth_korean.tar.gz"
|
|
UA = {"User-Agent": "voice-changer-examples/1.0"}
|
|
|
|
|
|
def _download(url: str, dst: Path) -> Path:
|
|
if dst.is_file():
|
|
return dst
|
|
dst.parent.mkdir(parents=True, exist_ok=True)
|
|
tmp = dst.with_suffix(".part")
|
|
with urllib.request.urlopen(urllib.request.Request(url, headers=UA), timeout=60) as r, open(tmp, "wb") as f:
|
|
total = int(r.headers.get("Content-Length") or 0)
|
|
done = 0
|
|
while chunk := r.read(1 << 20):
|
|
f.write(chunk)
|
|
done += len(chunk)
|
|
if total:
|
|
print(f"\r 내려받는 중 {done / total:5.1%}", end="", flush=True)
|
|
print()
|
|
tmp.replace(dst)
|
|
return dst
|
|
|
|
|
|
def prepare_kss(minutes: float) -> Path:
|
|
import pyarrow.parquet as pq
|
|
import soundfile as sf
|
|
|
|
out = DATASETS / "example_kss" / "raw"
|
|
if out.is_dir() and any(out.iterdir()):
|
|
return out
|
|
print("KSS 받기 (약 540MB)...")
|
|
pq_path = _download(KSS_URL, DATASETS / "_downloads" / "kss-00000.parquet")
|
|
out.mkdir(parents=True, exist_ok=True)
|
|
total = 0.0
|
|
n = 0
|
|
pf = pq.ParquetFile(pq_path)
|
|
for batch in pf.iter_batches(batch_size=64, columns=["audio"]):
|
|
for a in batch.column("audio").to_pylist():
|
|
data, sr = sf.read(io.BytesIO(a["bytes"]), dtype="float32")
|
|
n += 1
|
|
sf.write(out / f"kss_{n:05d}.wav", data, sr)
|
|
total += len(data) / sr
|
|
if total >= minutes * 60:
|
|
print(f" KSS {total / 60:.1f}분 준비")
|
|
return out
|
|
print(f" KSS {total / 60:.1f}분 준비")
|
|
return out
|
|
|
|
|
|
def prepare_zeroth(want: dict[str, int], minutes: float) -> list[tuple[str, str, Path]]:
|
|
"""want={'m': 2, 'f': 1} 처럼 성별마다 필요한 화자 수. 각 화자 minutes 분이 모이면 그 화자를 쓴다."""
|
|
import soundfile as sf
|
|
|
|
done: list[tuple[str, str, Path]] = []
|
|
for d in sorted((DATASETS).glob("example_zeroth_*")):
|
|
meta = d / "speaker.txt"
|
|
if meta.is_file():
|
|
spk, sex = meta.read_text(encoding="utf-8").split()
|
|
if want.get(sex, 0) > 0:
|
|
want[sex] -= 1
|
|
done.append((spk, sex, d / "raw"))
|
|
if not any(v > 0 for v in want.values()):
|
|
return done
|
|
|
|
print("Zeroth-Korean 을 흘려 읽는 중 (필요한 화자가 모이면 멈춤)...")
|
|
sex_of: dict[str, str] = {}
|
|
secs: dict[str, float] = {}
|
|
files: dict[str, list[tuple[str, bytes]]] = {}
|
|
read = 0
|
|
with urllib.request.urlopen(urllib.request.Request(ZEROTH_URL, headers=UA), timeout=60) as r:
|
|
tar = tarfile.open(fileobj=r, mode="r|gz")
|
|
for m in tar:
|
|
if m.name == "AUDIO_INFO":
|
|
for line in tar.extractfile(m).read().decode("utf-8").splitlines()[1:]:
|
|
parts = line.split("|")
|
|
if len(parts) >= 3:
|
|
sex_of[parts[0]] = parts[2]
|
|
continue
|
|
if not (m.isfile() and m.name.endswith(".flac")):
|
|
continue
|
|
spk = Path(m.name).name.split("_")[0]
|
|
sex = sex_of.get(spk)
|
|
if sex not in want or want[sex] <= 0 or secs.get(spk, 0) >= minutes * 60:
|
|
continue
|
|
data = tar.extractfile(m).read()
|
|
read += len(data)
|
|
try:
|
|
secs[spk] = secs.get(spk, 0.0) + sf.info(io.BytesIO(data)).duration
|
|
except Exception:
|
|
continue
|
|
files.setdefault(spk, []).append((Path(m.name).name, data))
|
|
print(f"\r 읽은 녹음 {read / 1e6:,.0f}MB, 화자 {len(files)}명", end="", flush=True)
|
|
if secs[spk] >= minutes * 60:
|
|
d = DATASETS / f"example_zeroth_{spk}"
|
|
(d / "raw").mkdir(parents=True, exist_ok=True)
|
|
for fname, b in files.pop(spk):
|
|
(d / "raw" / fname).write_bytes(b)
|
|
(d / "speaker.txt").write_text(f"{spk} {sex}", encoding="utf-8")
|
|
want[sex] -= 1
|
|
done.append((spk, sex, d / "raw"))
|
|
print(f"\n 화자 {spk}({'남' if sex == 'm' else '여'}) {secs[spk] / 60:.1f}분 준비")
|
|
if not any(v > 0 for v in want.values()):
|
|
break
|
|
# 메모리 보호: 모으는 중인 화자가 너무 많으면 가장 적게 모인 화자를 버린다
|
|
if len(files) > 12:
|
|
drop = min(files, key=lambda s: secs.get(s, 0))
|
|
files.pop(drop)
|
|
secs[drop] = minutes * 60 # 다시 모으지 않음
|
|
print()
|
|
return done
|
|
|
|
|
|
def main(argv=None):
|
|
ap = argparse.ArgumentParser(description="한국어 예시 모델 학습")
|
|
ap.add_argument("--only", choices=["kss", "zeroth"], help="한쪽만")
|
|
ap.add_argument("--minutes", type=float, default=20, help="화자마다 쓸 녹음 길이(분)")
|
|
ap.add_argument("--epochs", type=int, default=200)
|
|
ap.add_argument("--batch", type=int, default=8)
|
|
a = ap.parse_args(argv)
|
|
|
|
from train import train # 엔진 import 는 train 안에서
|
|
|
|
jobs = []
|
|
if a.only in (None, "kss"):
|
|
jobs.append(dict(dataset=prepare_kss(a.minutes), name="예시 여성 1 (KSS)", gender="female", model_id="example_kss",
|
|
sample_rate=48000, extra_info={"source": "KSS Dataset (Kyubyong Park)", "license": "CC BY-NC-SA 4.0 (비상업)"}))
|
|
if a.only in (None, "zeroth"):
|
|
picked = prepare_zeroth({"m": 2, "f": 1}, a.minutes)
|
|
n = {"m": 0, "f": 1} # 여성 1 은 KSS
|
|
for spk, sex, raw in picked:
|
|
n[sex] += 1
|
|
g = "male" if sex == "m" else "female"
|
|
jobs.append(dict(dataset=raw, name=f"예시 {'남성' if sex == 'm' else '여성'} {n[sex]} (Zeroth {spk})", gender=g,
|
|
model_id=f"example_zeroth_{spk}", sample_rate=32000,
|
|
extra_info={"source": f"Zeroth-Korean 화자 {spk} (OpenSLR 40)", "license": "CC BY 4.0"}))
|
|
|
|
for j in jobs:
|
|
if (MODELS / j["model_id"] / "model.pth").is_file():
|
|
print(f"이미 있음: {j['name']}")
|
|
continue
|
|
print(f"\n=== {j['name']} 학습 ===")
|
|
info = dict(j.pop("extra_info"), example=True)
|
|
train(j["dataset"], j["name"], j["gender"], j["model_id"], a.epochs, a.batch, j["sample_rate"], True, info)
|
|
print("\n예시 모델 준비 끝.")
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|