Some checks failed
Windows / verify (push) Has been cancelled
CTranslate2 Windows 패키지는 GPU 계산 때 cublas64_12.dll 을 이름으로 불러오는데 포터블 exe 에는 이 파일(과 cublasLt64_12.dll)이 없다. 리눅스 GPU 점검은 torch 가 깔아 둔 cuBLAS 를 써서 통과했고, torch 를 뺀 exe 에서는 모델은 GPU 에 올라가지만 첫 문장부터 매번 실패했다. 실패는 로그에만 남아 화면은 '듣는 중' 그대로였다. - 처음 GPU 를 쓸 때 NVIDIA 공식 nvidia-cublas-cu12 12.8.4.1(Blackwell 지원)을 PyPI 에서 한 번 받아 모델 폴더에 두고 전체 경로로 미리 불러 둔다. 크기·sha256 을 확인하고 DLL 두 개만 꺼낸다. 시스템에 이미 있으면 받지 않는다. - 받기에 실패하거나 GPU 쪽 오류(cuda/cublas/cudnn)로 문장 처리가 실패하면 이번 실행만 CPU 로 바꿔 같은 구간을 다시 처리한다. 설정 파일 값은 바꾸지 않는다. - 문장 처리 실패와 CPU 전환 사유를 홈 화면 상태 줄에 띄운다. - windows_smoke 에 cuBLAS 받기·불러오기 점검을 넣었다. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
62 lines
2.2 KiB
Python
62 lines
2.2 KiB
Python
"""cuBLAS 내려받기·꺼내기 (Windows exe 에서 GPU 로 받아 적는 데 필요)."""
|
|
|
|
from __future__ import annotations
|
|
|
|
import hashlib
|
|
import zipfile
|
|
|
|
import pytest
|
|
|
|
from livesub.models import cuda_runtime
|
|
|
|
|
|
def _fake_wheel(tmp_path):
|
|
wheel = tmp_path / "fake.whl"
|
|
with zipfile.ZipFile(wheel, "w") as zf:
|
|
zf.writestr("nvidia/cublas/bin/cublasLt64_12.dll", b"LT" * 1000)
|
|
zf.writestr("nvidia/cublas/bin/cublas64_12.dll", b"BLAS" * 1000)
|
|
zf.writestr("nvidia/cublas/bin/nvblas64_12.dll", b"unused")
|
|
zf.writestr("nvidia/cublas/include/cublas.h", b"header")
|
|
data = wheel.read_bytes()
|
|
return wheel.as_uri(), hashlib.sha256(data).hexdigest(), len(data)
|
|
|
|
|
|
def test_download_extracts_only_the_two_dlls(tmp_path):
|
|
url, sha, size = _fake_wheel(tmp_path)
|
|
target = tmp_path / "runtime"
|
|
seen = []
|
|
|
|
cuda_runtime.download(target, lambda msg, pct: seen.append(pct), url, sha, size)
|
|
|
|
assert cuda_runtime.installed(target)
|
|
assert (target / "cublasLt64_12.dll").read_bytes() == b"LT" * 1000
|
|
assert (target / "cublas64_12.dll").read_bytes() == b"BLAS" * 1000
|
|
assert sorted(p.name for p in target.iterdir()) == ["cublas64_12.dll", "cublasLt64_12.dll"]
|
|
assert seen and seen[-1] == 1.0
|
|
|
|
|
|
def test_corrupted_download_leaves_nothing_behind(tmp_path):
|
|
url, _sha, size = _fake_wheel(tmp_path)
|
|
target = tmp_path / "runtime"
|
|
|
|
with pytest.raises(RuntimeError, match="손상"):
|
|
cuda_runtime.download(target, None, url, "0" * 64, size)
|
|
|
|
assert not cuda_runtime.installed(target)
|
|
assert list(target.iterdir()) == []
|
|
|
|
|
|
def test_pinned_wheel_is_the_blackwell_capable_cublas():
|
|
# RTX 50 계열(sm_120)은 cuBLAS 12.8 부터 지원한다.
|
|
major, minor = (int(x) for x in cuda_runtime.WHEEL_VERSION.split(".")[:2])
|
|
assert (major, minor) >= (12, 8)
|
|
assert cuda_runtime.WHEEL_VERSION in cuda_runtime.WHEEL_URL
|
|
assert cuda_runtime.WHEEL_URL.endswith("win_amd64.whl")
|
|
|
|
|
|
def test_ensure_is_a_no_op_off_windows_or_on_cpu(monkeypatch):
|
|
monkeypatch.setattr(cuda_runtime.sys, "platform", "linux")
|
|
assert cuda_runtime.ensure(device="cuda") is False
|
|
monkeypatch.setattr(cuda_runtime.sys, "platform", "win32")
|
|
assert cuda_runtime.ensure(device="cpu") is False
|