feat: Hearo 1차 구현 — 프로그램 소리 실시간 번역 자막
프로그램별 오디오를 캡처해 로컬 GPU에서 음성인식→번역하고 화면 위 자막으로 보여주는 데스크톱 앱. 한/영/일/중 4개 언어. 구성 - audio: WASAPI 프로그램별 캡처(C++ 보조 프로그램) + 장치 루프백 폴백, 적응형 VAD 발화 분할 - models: 속도~품질 5단계 티어, faster-whisper + CTranslate2/LLM 2백엔드, 용어집(플레이스홀더 보호 + 프롬프트 주입) - core: Qt 비의존 파이프라인 엔진 (캡처/분할/추론 3스레드, 큐 연결) - ui: 사이드바 5화면 + 무테두리 항상위 자막 오버레이, 자체 다크 테마 모델 선정 근거는 docs/MODELS.md, 추가학습 가능 여부와 방법은 docs/FINETUNING.md 참고. 검증: pytest 39개 통과 (GPU·오디오 장치 없이 실행), ruff clean Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
This commit is contained in:
91
docs/ARCHITECTURE.md
Normal file
91
docs/ARCHITECTURE.md
Normal file
@@ -0,0 +1,91 @@
|
||||
# 구조
|
||||
|
||||
## 데이터 흐름
|
||||
|
||||
```
|
||||
[캡처 스레드] [분할 스레드] [추론 스레드] [GUI 스레드]
|
||||
hearo_capture.exe → Segmenter (VAD) → Whisper → 번역 모델 → 자막 오버레이
|
||||
또는 WASAPI 발화 단위로 절단 용어집 적용 컨트롤 창 로그
|
||||
↓ ↓ ↓ ↑
|
||||
오디오 큐 구간 큐(최대 32) TranslationLine Qt Signal
|
||||
(16kHz mono f32) 확정 / 중간결과
|
||||
```
|
||||
|
||||
세 워커 스레드는 모두 큐로만 연결된다. 어느 한 단계가 밀려도 나머지가 멈추지 않는다.
|
||||
큐가 가득 차면 **오래된 오디오를 버린다** — 실시간 자막에서는 밀린 소리보다 지금 나는
|
||||
소리가 항상 더 가치 있기 때문이다.
|
||||
|
||||
## 패키지
|
||||
|
||||
```
|
||||
src/hearo/
|
||||
constants.py 전역 상수, 언어 표, 경로
|
||||
config.py 설정 dataclass + JSON 영속화
|
||||
app.py 진입점
|
||||
|
||||
audio/
|
||||
base.py CaptureBackend 추상 클래스, 리샘플링
|
||||
process_loopback.py 프로그램별 캡처 (네이티브 보조 프로그램 구동)
|
||||
wasapi_loopback.py 출력 장치 전체 캡처 (PyAudioWPatch)
|
||||
file_source.py WAV 재생 (테스트·데모용)
|
||||
segmenter.py 적응형 VAD로 발화 구간 절단
|
||||
|
||||
models/
|
||||
tiers.py 5단계 티어 정의
|
||||
asr.py faster-whisper 래퍼
|
||||
translator.py CTranslate2 / Transformers 두 백엔드
|
||||
glossary.py 용어집 (플레이스홀더 보호 + 프롬프트 주입)
|
||||
manager.py 티어별 모델 쌍 로드·해제, GPU 탐지
|
||||
|
||||
core/
|
||||
engine.py 파이프라인 오케스트레이션 (Qt 비의존)
|
||||
events.py TranslationLine, EngineStatus
|
||||
|
||||
ui/
|
||||
theme.py 디자인 토큰 + QSS
|
||||
overlay.py 자막 창 + 공용 렌더링 함수
|
||||
main_window.py 사이드바 + 페이지 스택
|
||||
pages/ 홈 / 모델 / 자막 / 용어집 / 설정
|
||||
widgets/ Card, StatusPill, LevelMeter
|
||||
|
||||
native/process_loopback/ WASAPI process loopback C++ 보조 프로그램
|
||||
scripts/finetune_mt.py LoRA 추가학습
|
||||
```
|
||||
|
||||
## 설계 판단
|
||||
|
||||
### 캡처를 별도 실행 파일로 뺀 이유
|
||||
|
||||
WASAPI의 `ActivateAudioInterfaceAsync` + `AUDIOCLIENT_ACTIVATION_TYPE_PROCESS_LOOPBACK`
|
||||
은 COM 비동기 콜백을 요구한다. ctypes로 COM vtable을 흉내 내는 것보다 C++ 200줄이
|
||||
훨씬 안전하고 디버깅이 쉽다. 파이프로 생 PCM만 주고받으므로 인터페이스도 단순하다.
|
||||
|
||||
보조 프로그램이 없으면 `capture_capabilities()` 가 이를 알려주고 장치 루프백으로
|
||||
자동 폴백한다. 빌드 없이도 프로그램은 동작한다.
|
||||
|
||||
### 중간 결과는 번역하지 않는다
|
||||
|
||||
말하는 도중에도 인식 결과를 흐리게 보여주면 체감 지연이 크게 줄어든다. 하지만
|
||||
매번 번역까지 돌리면 GPU가 몇 배로 바빠지고, 문장이 완성되기 전 번역은 어차피
|
||||
틀린다. 그래서 **중간 결과는 원문만, 확정 문장만 번역**한다.
|
||||
|
||||
### UI 코드와 렌더링 코드 분리
|
||||
|
||||
자막 설정 미리보기와 실제 오버레이가 `paint_subtitle()` 하나를 공유한다.
|
||||
QSS로 미리보기를 흉내 내면 `text-shadow` 미지원 같은 이유로 실제와 어긋난다.
|
||||
|
||||
### 엔진은 Qt를 모른다
|
||||
|
||||
`core/engine.py` 는 콜백만 받는다. Qt 의존은 `MainWindow` 가 콜백을 Signal로
|
||||
다시 던지는 지점에만 있다. 덕분에 GPU도 오디오 장치도 없는 환경에서 파이프라인
|
||||
전체를 테스트할 수 있다 (`tests/test_pipeline.py`).
|
||||
|
||||
## 테스트
|
||||
|
||||
`pytest` 전체가 GPU·오디오 장치 없이 돈다.
|
||||
|
||||
- `test_segmenter.py` — 합성 사인파로 VAD 절단 검증
|
||||
- `test_pipeline.py` — 가짜 캡처/인식/번역으로 엔진 종단 검증
|
||||
- `test_glossary.py` — 최장일치, 단어경계, 왕복 변환
|
||||
- `test_config.py` — 스키마 변경 내성
|
||||
- `test_ui_smoke.py` — offscreen 렌더링으로 화면 생성 및 자막 픽셀 검증
|
||||
Reference in New Issue
Block a user