watch_sceen_ai/README.md

watch_sceen_ai

디스코드 화면공유를 AI가 실시간으로 보면서 음성으로 함께 대화하는 봇.

사용자가 디스코드에서 화면공유(Go Live)를 켜면, AI가 그 화면을 실시간으로 이해하고, 사용자의 음성 질문에 최대한 빠르게 답한다. 필요하면 화면이 크게 바뀔 때 먼저 말을 걸기도 한다.

• 실행 위치: 이 리눅스 호스트(.9, RTX 5050)
• 상태: 1단계(눈: 화면공유 스트림 수신) 진행 중 — 관문 1(E2EE 합류) 통과

전체 구조

두 개의 async 루프가 동시에 돈다.

[인지 루프]  화면공유 수신 ──frames──▶ 비전 이해 ──▶ [최신 화면 맥락 저장소]
                                                            │
[대화 루프]  STT(음성) ──utterances──▶  Brain(LLM) ◀────────┘
                                          │
                                          ▼
                                    TTS(음성 응답)

• 인지 루프: 화면 캡처 → 비전 이해 → 최신 화면 맥락 저장
• 대화 루프: 음성/텍스트 입력 → 두뇌(LLM, 화면맥락 + 대화이력) → 음성/텍스트 출력

모든 컴포넌트는 wsai/interfaces.py의 Protocol이라, 백엔드(mock / 로컬GPU / 클라우드 등)를 config에서 바꿔 끼워도 오케스트레이터는 그대로다.

채택한 방식 (2026-08-09 확정)

눈 — 화면공유 스트림 직접 수신

스크린샷·브라우저 캡처는 거부. 실제 화면공유 스트림 자체를 진짜 클라이언트처럼 수신한다.

• 공식 디스코드 봇 API는 비디오(화면공유) 수신을 완전 차단 → 봇으로는 불가.
• 그래서 셀프봇(유저 토큰) 으로 프로토콜 레벨에서 비디오 RTP를 직접 수신·디코딩한다.
• 수신 파이프: 셀프봇 음성채널 join → 상대 Go Live 스트림 "watch" 구독(비디오 SSRC 획득) → 암호화 비디오 RTP 수신 → DAVE(E2EE) 복호화 → 전송암호(aead_aes256_gcm_rtpsize) 복호 → VP8/H264 depayload → ffmpeg 디코드 → 프레임.
• 라이브러리: discord.js-selfbot 계열(werift-rtp), DAVE 복호화는 @snazzah/davey(Rust NAPI).
• 계정: 전용 버너 계정 "클로드봇"(tkrmagid_bot). 토큰은 .env(gitignore).

귀 — STT

faster-whisper 스트리밍/부분 전사로 사용자의 음성을 빠르게 텍스트화.

두뇌 — 하이브리드 비전 + LLM

이 호스트 RTX 5050(8GB)으로 소형 로컬 VLM(moondream2 / Qwen2-VL-2B)이 매 프레임 1차 이해 + 화면 변화 감지를 값싸게 처리하고, 어려운 화면만 Claude OAuth(Haiku 계열)로 에스컬레이션.

입 — TTS

MeloTTS 등(이 호스트에 기존 자산 있음)으로 음성 응답. 말 끊기 인터럽트 지원, 지연 최소화.

진행 상황

완료

• 파이프라인 스켈레톤(wsai/) — 의존성/키 없이 mock 모드로 전체 흐름 검증됨.
• 캡처 방식 결정 확정: 셀프봇 프로토콜 레벨 비디오 RTP 수신.
• 버너 계정 + 토큰 확보, ToS/밴 위험 수용 확인.
• 관문 1 통과 (DAVE/MLS E2EE 합류) — dave/gate.mjs 실측 검증:
  • 셀프봇 유저토큰 메인 GW IDENTIFY → 음성채널 join → 보이스 GW v8 IDENTIFY(max_dave_protocol_version=1).
  • close 4017 없음. SESSION_DESCRIPTION에서 dave_protocol_version=1 협상됨(채널 E2EE 활성).
  • @snazzah/davey로 MLS 멤버십 핸드셰이크 완주(op25~op29) → MLS session ready=true, voicePrivacyCode 산출.
  • 결론: 셀프봇이 E2EE 보이스 그룹에 정식 멤버로 합류 가능 → 직접 수신 방식 실현 가능 확정.

다음 (1단계 마무리)

• 상대 Go Live 스트림 구독으로 비디오 SSRC 확보 → UDP SRTP 비디오 패킷 수신 → RTP 파싱 → daveSession.decrypt E2EE 복호 → 전송암호 복호 → VP8/H264 depayload → ffmpeg 디코드 → 실제 공유화면 프레임 추출 PoC. (검증하려면 실제 Go Live 중인 소스 필요)
• 프레임 변화 감지(동일 화면 반복 전송 방지) + 소스 인터페이스.

이후 단계

• 3단계 · 두뇌: 로컬 VLM 1차 이해 + 변화 감지, Claude(Haiku) 에스컬레이션, 화면 맥락 저장소.
• 4단계 · 음성 대화: STT + 대화 브레인 + TTS + 인터럽트/지연 최적화.
• 5단계 · 통합·운영: 인지/대화 루프 동시 실행, proactive(화면 크게 바뀌면 먼저 말 걸기), 끊김 복구, 비용 모니터링, 서비스화.

실행

python -m wsai            # mock 데모 (의존성·키 불필요, 몇 프레임 돌고 종료)
python -m wsai --env      # WSAI_* 환경변수로 조립
pytest                    # 스모크 테스트

파일 / 디렉터리

경로	역할
wsai/interfaces.py	데이터 타입 + 컴포넌트 Protocol
wsai/pipeline.py	오케스트레이터(인지/대화 루프)
wsai/state.py	최신 화면 맥락 공유 저장소
wsai/config.py / factory.py	설정 → 백엔드 조립
wsai/backends/mock.py	무의존성 mock 전 계열
wsai/backends/capture_mss.py	로컬 화면 캡처(폴백용)
wsai/backends/claude.py	Claude 비전 + 두뇌
dave/gate.mjs	DAVE/MLS E2EE 합류 관문 검증(관문 1 통과 증거)
poc/	Xvfb+Chromium 프레임 캡처 실험 — 폐기(참고 폴백으로만 보존)
PLAN.md	단계별 착수 계획(확정본)

리스크 메모

• 셀프봇(유저 토큰) 자동화는 디스코드 ToS 회색지대 → 계정 밴 위험. 반드시 버리는 전용 계정만 사용.
• 완성형 "수신→프레임" 라이브러리는 없음(직접 조립 필요). 셀프봇 라이브러리는 프로토콜 변경 시 깨질 수 있음.
• 리스크를 완전히 없애려면 대안: (a) 디스코드 클라이언트 렌더 화면 로컬 캡처, (b) 디스코드 대신 WebRTC/OBS/Janus/mediasoup 기반 수신 구조. 다만 둘 다 "실제 화면공유 스트림을 진짜로 수신"하려던 원래 요구와는 타협이 있음.
• 로컬 GPU 8GB VRAM 제약 → 소형 VLM만. 큰 이해는 클라우드(Claude).