# watch_sceen_ai

디스코드 화면공유를 **AI가 실시간으로 보면서 음성으로 함께 대화하는** 봇.

사용자가 디스코드에서 화면공유(Go Live)를 켜면, AI가 그 화면을 실시간으로 이해하고,
사용자의 음성 질문에 최대한 빠르게 답한다. 필요하면 화면이 크게 바뀔 때 먼저 말을 걸기도 한다.

- 실행 위치: 이 리눅스 호스트(.9, RTX 5050)
- 상태: 1단계(눈: 화면공유 스트림 수신) 진행 중 — 관문 1(E2EE 합류) 통과

## 전체 구조

두 개의 async 루프가 동시에 돈다.

```
[인지 루프]  화면공유 수신 ──frames──▶ 비전 이해 ──▶ [최신 화면 맥락 저장소]
                                                            │
[대화 루프]  STT(음성) ──utterances──▶  Brain(LLM) ◀────────┘
                                          │
                                          ▼
                                    TTS(음성 응답)
```

- 인지 루프: 화면 캡처 → 비전 이해 → 최신 화면 맥락 저장
- 대화 루프: 음성/텍스트 입력 → 두뇌(LLM, 화면맥락 + 대화이력) → 음성/텍스트 출력

모든 컴포넌트는 `wsai/interfaces.py`의 Protocol이라, 백엔드(mock / 로컬GPU / 클라우드 등)를
config에서 바꿔 끼워도 오케스트레이터는 그대로다.

## 채택한 방식 (2026-08-09 확정)

### 눈 — 화면공유 스트림 직접 수신
스크린샷·브라우저 캡처는 **거부**. 실제 화면공유 스트림 자체를 진짜 클라이언트처럼 수신한다.

- 공식 디스코드 봇 API는 비디오(화면공유) 수신을 완전 차단 → 봇으로는 불가.
- 그래서 **셀프봇(유저 토큰)** 으로 프로토콜 레벨에서 비디오 RTP를 직접 수신·디코딩한다.
- 수신 파이프: 셀프봇 음성채널 join → 상대 Go Live 스트림 "watch" 구독(비디오 SSRC 획득)
  → 암호화 비디오 RTP 수신 → DAVE(E2EE) 복호화 → 전송암호(aead_aes256_gcm_rtpsize) 복호
  → VP8/H264 depayload → ffmpeg 디코드 → 프레임.
- 라이브러리: `discord.js-selfbot` 계열(werift-rtp), DAVE 복호화는 `@snazzah/davey`(Rust NAPI).
- 계정: 전용 버너 계정 "클로드봇"(tkrmagid_bot). 토큰은 `.env`(gitignore).

### 귀 — STT
`faster-whisper` 스트리밍/부분 전사로 사용자의 음성을 빠르게 텍스트화.

### 두뇌 — 하이브리드 비전 + LLM
이 호스트 RTX 5050(8GB)으로 소형 로컬 VLM(moondream2 / Qwen2-VL-2B)이 매 프레임 1차 이해 +
화면 변화 감지를 값싸게 처리하고, 어려운 화면만 Claude OAuth(Haiku 계열)로 에스컬레이션.

### 입 — TTS
MeloTTS 등(이 호스트에 기존 자산 있음)으로 음성 응답. 말 끊기 인터럽트 지원, 지연 최소화.

## 진행 상황

### 완료
- 파이프라인 스켈레톤(`wsai/`) — 의존성/키 없이 mock 모드로 전체 흐름 검증됨.
- 캡처 방식 결정 확정: 셀프봇 프로토콜 레벨 비디오 RTP 수신.
- 버너 계정 + 토큰 확보, ToS/밴 위험 수용 확인.
- **관문 1 통과 (DAVE/MLS E2EE 합류)** — `dave/gate.mjs` 실측 검증:
  - 셀프봇 유저토큰 메인 GW IDENTIFY → 음성채널 join → 보이스 GW v8 IDENTIFY(`max_dave_protocol_version=1`).
  - close 4017 없음. `SESSION_DESCRIPTION`에서 `dave_protocol_version=1` 협상됨(채널 E2EE 활성).
  - `@snazzah/davey`로 MLS 멤버십 핸드셰이크 완주(op25~op29) → MLS session ready=true, voicePrivacyCode 산출.
  - 결론: 셀프봇이 E2EE 보이스 그룹에 정식 멤버로 합류 가능 → 직접 수신 방식 실현 가능 확정.

### 다음 (1단계 마무리)
- 상대 Go Live 스트림 구독으로 비디오 SSRC 확보 → UDP SRTP 비디오 패킷 수신 → RTP 파싱
  → `daveSession.decrypt` E2EE 복호 → 전송암호 복호 → VP8/H264 depayload → ffmpeg 디코드
  → 실제 공유화면 프레임 추출 PoC. (검증하려면 실제 Go Live 중인 소스 필요)
- 프레임 변화 감지(동일 화면 반복 전송 방지) + 소스 인터페이스.

### 이후 단계
- 3단계 · 두뇌: 로컬 VLM 1차 이해 + 변화 감지, Claude(Haiku) 에스컬레이션, 화면 맥락 저장소.
- 4단계 · 음성 대화: STT + 대화 브레인 + TTS + 인터럽트/지연 최적화.
- 5단계 · 통합·운영: 인지/대화 루프 동시 실행, proactive(화면 크게 바뀌면 먼저 말 걸기), 끊김 복구, 비용 모니터링, 서비스화.

## 실행

```bash
python -m wsai            # mock 데모 (의존성·키 불필요, 몇 프레임 돌고 종료)
python -m wsai --env      # WSAI_* 환경변수로 조립
pytest                    # 스모크 테스트
```

## 파일 / 디렉터리

| 경로 | 역할 |
|------|------|
| `wsai/interfaces.py` | 데이터 타입 + 컴포넌트 Protocol |
| `wsai/pipeline.py` | 오케스트레이터(인지/대화 루프) |
| `wsai/state.py` | 최신 화면 맥락 공유 저장소 |
| `wsai/config.py` / `factory.py` | 설정 → 백엔드 조립 |
| `wsai/backends/mock.py` | 무의존성 mock 전 계열 |
| `wsai/backends/capture_mss.py` | 로컬 화면 캡처(폴백용) |
| `wsai/backends/claude.py` | Claude 비전 + 두뇌 |
| `dave/gate.mjs` | DAVE/MLS E2EE 합류 관문 검증(관문 1 통과 증거) |
| `poc/` | Xvfb+Chromium 프레임 캡처 실험 — **폐기**(참고 폴백으로만 보존) |
| `PLAN.md` | 단계별 착수 계획(확정본) |

## 리스크 메모

- 셀프봇(유저 토큰) 자동화는 디스코드 ToS 회색지대 → 계정 밴 위험. 반드시 버리는 전용 계정만 사용.
- 완성형 "수신→프레임" 라이브러리는 없음(직접 조립 필요). 셀프봇 라이브러리는 프로토콜 변경 시 깨질 수 있음.
- 리스크를 완전히 없애려면 대안: (a) 디스코드 클라이언트 렌더 화면 로컬 캡처, (b) 디스코드 대신 WebRTC/OBS/Janus/mediasoup 기반 수신 구조. 다만 둘 다 "실제 화면공유 스트림을 진짜로 수신"하려던 원래 요구와는 타협이 있음.
- 로컬 GPU 8GB VRAM 제약 → 소형 VLM만. 큰 이해는 클라우드(Claude).