Drop the recommended model (Qwen3.8-Flash-Next) and the experimental one: Qwen3.6-35B-A3B passed every tool call and answers first. Replace game-mode actions (a)(b)(c) with automatic tuning: a normal and a game placement of the same model, computed per PC from VRAM, a first-run self-check that lowers defaults on slow PCs, and latency watching that lowers restart-free settings first. Record the agent-desktop results and choose the per-call CLI. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
6.4 KiB
6.4 KiB
Javis Bot v2
게임PC 한 대에서 완전 로컬로 도는 디스코드 음성 비서입니다. 설치 파일 하나로 깔리는 Windows 관리 앱(exe) 에서 모든 설정과 관리를 합니다.
상태: 설계 단계. 이 문서와 docs/v2/는 v2 계획입니다. 지금 저장소의 코드는 v1(Docker + VNC 구성)이고, v1 사용법은 docs/v1/README.md에 있습니다.
개인정보 우선
- 음성 인식(STT), 답변(LLM), 음성 합성(TTS)을 모두 게임PC 안에서 처리합니다. 클라우드 AI API는 쓰지 않습니다. 밖으로 나가는 요청은 웹 검색과 날씨 조회뿐입니다.
- 음성 원본과 화면 캡처는 기본적으로 저장하지 않습니다.
- 대화 기록은 사람별로 보고 지울 수 있습니다.
- 봇 토큰 같은 비밀값은 Windows DPAPI로 암호화해서 저장합니다.
자세한 내용: docs/v2/privacy.md
주요 기능
- 빠른 음성 대화: 말하는 도중에 전사하고 답은 문장 단위로 바로 읽어서, 말이 끝난 뒤 첫 소리까지 약 1~1.5초를 목표로 합니다.
- 최대 10명 동시 대화: 화자별로 따로 받아 전사합니다. 여러 명이 동시에 부를 때 어떻게 답할지(처음 대화만 / 들어온 순서대로 / 마지막 대화만 / 제일 중요한 대화만)는 GUI에서 고릅니다.
- 호출어와 지정한 사람:
- 호출어는 GUI에서 여러 개 등록합니다.
- "지정한 사람만 응답"과 "지정한 사람은 호출어 없이 대답"을 각각 켜고 끕니다.
- AI 채팅 채널: 등록한 디스코드 채팅 채널을 자비스가 읽고, 메시지를 보내고, 자기 메시지를 고칩니다. 채널 ID, 이름, 설명은 GUI에서 편집하고, 고친 이름·설명은 실제 디스코드 채널 이름·주제에도 반영합니다(끌 수 있음).
- 대화 기억: 본인이 말했던 기록, 등록한 채팅 채널, 같은 음성 채널에 함께 있던 다른 사람 말에서 이번 질문과 관련된 내용을 찾아 답할 때 참고합니다. 다른 사람 말 참고는 GUI에서 끌 수 있습니다.
- 화면 보기:
- 전체 화면, 모니터별, 프로그램(창)별 화면을 자비스가 직접 봅니다.
- "2번 화면에 뭐 떠 있어?" 같은 질문도 1.5~2.5초 안에 답하는 것을 목표로 합니다.
- 다른 사람의 디스코드 화면공유는 자비스가 말로 공유 창 분리(팝아웃)를 부탁하고, 분리된 창만 캡처해서 봅니다.
- 게임 모드:
- 전체화면 게임과 테두리 없는 창 모드 게임을 감지합니다.
- 게임 중에는 LLM이 쓰던 VRAM을 게임에 내주도록 앱이 자동으로 조절합니다. 모델은 하나만 쓰고, PC 성능이 부족하면 그 PC에 맞게 설정을 낮춥니다.
- 원하면 게임 중에는 봇을 일시정지할 수 있습니다.
- 안티치트 보호: 뱅가드 같은 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 자동 조작을 막고 그 이유를 알려 줍니다.
- 기존 기능 유지: 메모리, 날씨, 웹 검색, 식단 기록, MCP, 브라우저 제어를 그대로 가져갑니다.
- 관리 앱:
- 첫 실행 마법사, 대시보드, 모델 다운로드, 기능별 켜기/끄기를 제공합니다.
- 로그 화면에서 로그를 보고, 복사하고, 내려받을 수 있습니다. 비밀값은 자동으로 가립니다.
요구 사항 (예정)
| 항목 | 기준 |
|---|---|
| OS | Windows 11 |
| GPU | NVIDIA RTX 계열, VRAM 16GB 권장 (기준 PC: RTX 5070 Ti 16GB) |
| 드라이버 | NVIDIA 580 이상 (CUDA 13). 낮으면 CUDA 12 빌드를 씁니다 |
| RAM | 32GB 이상 (기준 PC: 128GB) |
| 디스크 | 최소 120GB, 권장 200GB 이상 여유 (NVMe 권장) |
| 디스코드 | 봇 토큰 1개. 채팅 채널을 쓰려면 개발자 포털에서 Message Content Intent를 켭니다 |
Python, CUDA 라이브러리, 모델, 브라우저는 첫 실행 때 사용자가 고른 데이터 폴더에 자동으로 받습니다. 따로 설치할 것은 NVIDIA 드라이버뿐입니다.
설치 (예정)
- 설치 파일(exe)을 실행합니다. 서명되지 않은 파일이라 SmartScreen 경고가 뜨면 "추가 정보 → 실행"을 누릅니다.
- 첫 실행 마법사를 따라갑니다.
- 데이터 폴더를 고릅니다.
- PC 점검을 합니다.
- 받을 모델 크기와 예상 시간을 확인합니다.
- 자동 설치와 자가 점검(이 PC에 맞는 설정 정하기)을 기다립니다.
- 디스코드 봇을 연결합니다.
- 테스트합니다.
- 대시보드에서 봇을 시작합니다.
알려진 제한 (예정)
- 저작권 보호 영상, 일부 게임의 독점 전체화면, 최소화된 창은 캡처가 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다.
- 화면 보기는 이미지 입력을 지원하는 LLM에서만 됩니다.
- 디스코드 봇은 다른 사람의 메시지를 수정할 수 없습니다. 삭제와 고정만 됩니다.
- 공식 봇 계정은 화면공유 영상을 직접 받을 수 없습니다. 그래서 게임PC의 디스코드 앱 창을 캡처하는 방식을 씁니다.
문서
| 문서 | 내용 |
|---|---|
| docs/v2/architecture.md | 목표, v1과 비교, 하드웨어 자원 배분, 전체 구조, 기술 선택 |
| docs/v2/voice-and-llm.md | 실시간 음성 파이프라인(STT, TTS, 지연 목표)과 LLM(Strata, 모델) |
| docs/v2/conversation.md | 10명 동시 대화, 호출어와 지정한 사람, 응답 정책, AI 채팅 채널 |
| docs/v2/memory.md | 이전 대화 참고(대화 기억) |
| docs/v2/desktop-app.md | 관리 앱: 첫 실행 마법사, 데이터 폴더, 설정 화면, 로그 화면 |
| docs/v2/pc-features.md | 게임 모드, 화면 보기, 키보드·마우스와 안티치트, 봇용 크롬창, 화면공유 보기, 정보 수집 |
| docs/v2/privacy.md | 개인정보·법적 안전장치 |
| docs/v2/roadmap.md | 구현 단계(M0~M8)와 위험 요소 |
| docs/v2/decisions.md | 확정된 결정 |
크레딧
두뇌(메모리, 도구, 답변 엔진)는 isair/jarvis를 기반으로 합니다. 원본 README는 docs/UPSTREAM-README.md에 있습니다.