Files
voice_copy/voice-changer/app/examples.py
EJClaw b0460fdff7 Add Windows realtime voice changer (RVC via Applio) + set operator to 사금향
- voice-changer/: install.bat (uv + Python 3.12 + pinned Applio + torch cu128),
  VoiceChanger.exe launcher (mingw), tkinter GUI (model list, auto ±12 pitch
  across genders, mic/output/monitor devices, latency, noise gate),
  train.bat (preprocess/extract/train/index → models/<id>), examples.bat
  (Korean example models from KSS + Zeroth-Korean), build-release.sh
- consent-recorder: default OPERATOR_NAME=사금향

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-11 14:34:03 +09:00

169 lines
7.3 KiB
Python

"""한국어 예시 모델 4개를 공개 데이터셋으로 학습한다 (게임PC GPU 로 한 번만 돌리면 됨).
- 여성 1: KSS (Korean Single Speaker Speech, 성우 1명, CC BY-NC-SA 4.0, 비상업)
- 남성 1 · 남성 2 · 여성 2: Zeroth-Korean (OpenSLR 40, CC BY 4.0). 화자 이름 대신 화자 번호만 쓴다.
Zeroth 는 10GB 압축 파일이라 처음부터 흘려 읽다가 필요한 화자 녹음이 모이면 내려받기를 멈춘다.
Zeroth 원본은 16kHz 라 KSS(44.1kHz)보다 고음이 덜 또렷하다. 그래서 32kHz 모델로 학습한다.
examples.bat # 4개 모두
examples.bat --only kss --minutes 3 --epochs 1 # 빠른 확인용
"""
import argparse
import io
import sys
import tarfile
import urllib.request
from pathlib import Path
from common import DATASETS, MODELS
KSS_URL = "https://huggingface.co/datasets/Bingsu/KSS_Dataset/resolve/main/data/train-00000-of-00007.parquet"
ZEROTH_URL = "https://www.openslr.org/resources/40/zeroth_korean.tar.gz"
UA = {"User-Agent": "voice-changer-examples/1.0"}
def _download(url: str, dst: Path) -> Path:
if dst.is_file():
return dst
dst.parent.mkdir(parents=True, exist_ok=True)
tmp = dst.with_suffix(".part")
with urllib.request.urlopen(urllib.request.Request(url, headers=UA), timeout=60) as r, open(tmp, "wb") as f:
total = int(r.headers.get("Content-Length") or 0)
done = 0
while chunk := r.read(1 << 20):
f.write(chunk)
done += len(chunk)
if total:
print(f"\r 내려받는 중 {done / total:5.1%}", end="", flush=True)
print()
tmp.replace(dst)
return dst
def prepare_kss(minutes: float) -> Path:
import pyarrow.parquet as pq
import soundfile as sf
out = DATASETS / "example_kss" / "raw"
if out.is_dir() and any(out.iterdir()):
return out
print("KSS 받기 (약 540MB)...")
pq_path = _download(KSS_URL, DATASETS / "_downloads" / "kss-00000.parquet")
out.mkdir(parents=True, exist_ok=True)
total = 0.0
n = 0
pf = pq.ParquetFile(pq_path)
for batch in pf.iter_batches(batch_size=64, columns=["audio"]):
for a in batch.column("audio").to_pylist():
data, sr = sf.read(io.BytesIO(a["bytes"]), dtype="float32")
n += 1
sf.write(out / f"kss_{n:05d}.wav", data, sr)
total += len(data) / sr
if total >= minutes * 60:
print(f" KSS {total / 60:.1f}분 준비")
return out
print(f" KSS {total / 60:.1f}분 준비")
return out
def prepare_zeroth(want: dict[str, int], minutes: float) -> list[tuple[str, str, Path]]:
"""want={'m': 2, 'f': 1} 처럼 성별마다 필요한 화자 수. 각 화자 minutes 분이 모이면 그 화자를 쓴다."""
import soundfile as sf
done: list[tuple[str, str, Path]] = []
for d in sorted((DATASETS).glob("example_zeroth_*")):
meta = d / "speaker.txt"
if meta.is_file():
spk, sex = meta.read_text(encoding="utf-8").split()
if want.get(sex, 0) > 0:
want[sex] -= 1
done.append((spk, sex, d / "raw"))
if not any(v > 0 for v in want.values()):
return done
print("Zeroth-Korean 을 흘려 읽는 중 (필요한 화자가 모이면 멈춤)...")
sex_of: dict[str, str] = {}
secs: dict[str, float] = {}
files: dict[str, list[tuple[str, bytes]]] = {}
read = 0
with urllib.request.urlopen(urllib.request.Request(ZEROTH_URL, headers=UA), timeout=60) as r:
tar = tarfile.open(fileobj=r, mode="r|gz")
for m in tar:
if m.name == "AUDIO_INFO":
for line in tar.extractfile(m).read().decode("utf-8").splitlines()[1:]:
parts = line.split("|")
if len(parts) >= 3:
sex_of[parts[0]] = parts[2]
continue
if not (m.isfile() and m.name.endswith(".flac")):
continue
spk = Path(m.name).name.split("_")[0]
sex = sex_of.get(spk)
if sex not in want or want[sex] <= 0 or secs.get(spk, 0) >= minutes * 60:
continue
data = tar.extractfile(m).read()
read += len(data)
try:
secs[spk] = secs.get(spk, 0.0) + sf.info(io.BytesIO(data)).duration
except Exception:
continue
files.setdefault(spk, []).append((Path(m.name).name, data))
print(f"\r 읽은 녹음 {read / 1e6:,.0f}MB, 화자 {len(files)}명", end="", flush=True)
if secs[spk] >= minutes * 60:
d = DATASETS / f"example_zeroth_{spk}"
(d / "raw").mkdir(parents=True, exist_ok=True)
for fname, b in files.pop(spk):
(d / "raw" / fname).write_bytes(b)
(d / "speaker.txt").write_text(f"{spk} {sex}", encoding="utf-8")
want[sex] -= 1
done.append((spk, sex, d / "raw"))
print(f"\n 화자 {spk}({'남' if sex == 'm' else '여'}) {secs[spk] / 60:.1f}분 준비")
if not any(v > 0 for v in want.values()):
break
# 메모리 보호: 모으는 중인 화자가 너무 많으면 가장 적게 모인 화자를 버린다
if len(files) > 12:
drop = min(files, key=lambda s: secs.get(s, 0))
files.pop(drop)
secs[drop] = minutes * 60 # 다시 모으지 않음
print()
return done
def main(argv=None):
ap = argparse.ArgumentParser(description="한국어 예시 모델 학습")
ap.add_argument("--only", choices=["kss", "zeroth"], help="한쪽만")
ap.add_argument("--minutes", type=float, default=20, help="화자마다 쓸 녹음 길이(분)")
ap.add_argument("--epochs", type=int, default=200)
ap.add_argument("--batch", type=int, default=8)
a = ap.parse_args(argv)
from train import train # 엔진 import 는 train 안에서
jobs = []
if a.only in (None, "kss"):
jobs.append(dict(dataset=prepare_kss(a.minutes), name="예시 여성 1 (KSS)", gender="female", model_id="example_kss",
sample_rate=48000, extra_info={"source": "KSS Dataset (Kyubyong Park)", "license": "CC BY-NC-SA 4.0 (비상업)"}))
if a.only in (None, "zeroth"):
picked = prepare_zeroth({"m": 2, "f": 1}, a.minutes)
n = {"m": 0, "f": 1} # 여성 1 은 KSS
for spk, sex, raw in picked:
n[sex] += 1
g = "male" if sex == "m" else "female"
jobs.append(dict(dataset=raw, name=f"예시 {'남성' if sex == 'm' else '여성'} {n[sex]} (Zeroth {spk})", gender=g,
model_id=f"example_zeroth_{spk}", sample_rate=32000,
extra_info={"source": f"Zeroth-Korean 화자 {spk} (OpenSLR 40)", "license": "CC BY 4.0"}))
for j in jobs:
if (MODELS / j["model_id"] / "model.pth").is_file():
print(f"이미 있음: {j['name']}")
continue
print(f"\n=== {j['name']} 학습 ===")
info = dict(j.pop("extra_info"), example=True)
train(j["dataset"], j["name"], j["gender"], j["model_id"], a.epochs, a.batch, j["sample_rate"], True, info)
print("\n예시 모델 준비 끝.")
if __name__ == "__main__":
sys.exit(main())