Replace the root README with the v2 plan (game PC fully local, Windows management app) and split the plan into docs/v2/*.md: architecture, voice-and-llm, conversation, memory, desktop-app, pc-features, privacy, roadmap, decisions. The v1 README moves to docs/v1/README.md with its relative links fixed; .env.example points to the new location. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
87 lines
6.1 KiB
Markdown
87 lines
6.1 KiB
Markdown
# Javis Bot v2
|
|
|
|
게임PC 한 대에서 **완전 로컬**로 도는 디스코드 음성 비서입니다. 설치 파일 하나로 깔리는 **Windows 관리 앱(exe)** 에서 모든 설정과 관리를 합니다.
|
|
|
|
> **상태: 설계 단계.** 이 문서와 [docs/v2/](docs/v2/)는 v2 계획입니다. 지금 저장소의 코드는 v1(Docker + VNC 구성)이고, v1 사용법은 [docs/v1/README.md](docs/v1/README.md)에 있습니다.
|
|
|
|
## 개인정보 우선
|
|
|
|
- 음성 인식(STT), 답변(LLM), 음성 합성(TTS)을 모두 게임PC 안에서 처리합니다. 클라우드 AI API는 쓰지 않습니다. 밖으로 나가는 요청은 웹 검색과 날씨 조회뿐입니다.
|
|
- 음성 원본과 화면 캡처는 기본적으로 저장하지 않습니다.
|
|
- 대화 기록은 사람별로 보고 지울 수 있습니다.
|
|
- 봇 토큰 같은 비밀값은 Windows DPAPI로 암호화해서 저장합니다.
|
|
|
|
자세한 내용: [docs/v2/privacy.md](docs/v2/privacy.md)
|
|
|
|
## 주요 기능
|
|
|
|
- **빠른 음성 대화**: 말하는 도중에 전사하고 답은 문장 단위로 바로 읽어서, 말이 끝난 뒤 첫 소리까지 약 1~1.5초를 목표로 합니다.
|
|
- **최대 10명 동시 대화**: 화자별로 따로 받아 전사합니다. 여러 명이 동시에 부를 때 어떻게 답할지(처음 대화만 / 들어온 순서대로 / 마지막 대화만 / 제일 중요한 대화만)는 GUI에서 고릅니다.
|
|
- **호출어와 지정한 사람**:
|
|
- 호출어는 GUI에서 여러 개 등록합니다.
|
|
- "지정한 사람만 응답"과 "지정한 사람은 호출어 없이 대답"을 각각 켜고 끕니다.
|
|
- **AI 채팅 채널**: 등록한 디스코드 채팅 채널을 자비스가 읽고, 메시지를 보내고, 자기 메시지를 고칩니다. 채널 ID, 이름, 설명은 GUI에서 편집합니다.
|
|
- **대화 기억**: 본인이 말했던 기록과 등록한 채팅 채널에서 이번 질문과 관련된 내용을 찾아 답할 때 참고합니다.
|
|
- **화면 보기**:
|
|
- 전체 화면, 모니터별, 프로그램(창)별 화면을 자비스가 직접 봅니다.
|
|
- "2번 화면에 뭐 떠 있어?" 같은 질문도 1.5~2.5초 안에 답하는 것을 목표로 합니다.
|
|
- 다른 사람의 디스코드 화면공유는 공유 창을 분리(팝아웃)하면 그 창만 캡처해서 봅니다.
|
|
- **게임 모드**:
|
|
- 전체화면 게임과 테두리 없는 창 모드 게임을 감지합니다.
|
|
- 게임 중에는 LLM을 RAM 위주로 옮기거나, 빠른 모델로 바꾸거나, 봇을 일시정지합니다. 세 동작은 각각 켜고 끕니다.
|
|
- **안티치트 보호**: 뱅가드 같은 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 자동 조작을 막고 그 이유를 알려 줍니다.
|
|
- **기존 기능 유지**: 메모리, 날씨, 웹 검색, 식단 기록, MCP, 브라우저 제어를 그대로 가져갑니다.
|
|
- **관리 앱**:
|
|
- 첫 실행 마법사, 대시보드, 모델 다운로드·전환, 기능별 켜기/끄기를 제공합니다.
|
|
- 로그 화면에서 로그를 보고, 복사하고, 내려받을 수 있습니다. 비밀값은 자동으로 가립니다.
|
|
|
|
## 요구 사항 (예정)
|
|
|
|
| 항목 | 기준 |
|
|
|---|---|
|
|
| OS | Windows 11 |
|
|
| GPU | NVIDIA RTX 계열, VRAM 16GB 권장 (기준 PC: RTX 5070 Ti 16GB) |
|
|
| 드라이버 | NVIDIA 580 이상 (CUDA 13). 낮으면 CUDA 12 빌드를 씁니다 |
|
|
| RAM | 빠름 모델 32GB 이상, 권장 모델 64GB 이상 (기준 PC: 128GB) |
|
|
| 디스크 | 최소 120GB, 권장 200GB 이상 여유 (NVMe 권장) |
|
|
| 디스코드 | 봇 토큰 1개. 채팅 채널을 쓰려면 개발자 포털에서 Message Content Intent를 켭니다 |
|
|
|
|
Python, CUDA 라이브러리, 모델, 브라우저는 첫 실행 때 사용자가 고른 데이터 폴더에 자동으로 받습니다. 따로 설치할 것은 NVIDIA 드라이버뿐입니다.
|
|
|
|
## 설치 (예정)
|
|
|
|
1. 설치 파일(exe)을 실행합니다. 서명되지 않은 파일이라 SmartScreen 경고가 뜨면 "추가 정보 → 실행"을 누릅니다.
|
|
2. 첫 실행 마법사를 따라갑니다.
|
|
1. 데이터 폴더를 고릅니다.
|
|
2. PC 점검을 합니다.
|
|
3. 모델 프리셋을 고릅니다.
|
|
4. 자동 설치를 기다립니다.
|
|
5. 디스코드 봇을 연결합니다.
|
|
6. 테스트합니다.
|
|
3. 대시보드에서 봇을 시작합니다.
|
|
|
|
## 알려진 제한 (예정)
|
|
|
|
- 저작권 보호 영상, 일부 게임의 독점 전체화면, 최소화된 창은 캡처가 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다.
|
|
- 화면 보기는 이미지 입력을 지원하는 LLM에서만 됩니다.
|
|
- 디스코드 봇은 다른 사람의 메시지를 수정할 수 없습니다. 삭제와 고정만 됩니다.
|
|
- 공식 봇 계정은 화면공유 영상을 직접 받을 수 없습니다. 그래서 게임PC의 디스코드 앱 창을 캡처하는 방식을 씁니다.
|
|
|
|
## 문서
|
|
|
|
| 문서 | 내용 |
|
|
|---|---|
|
|
| [docs/v2/architecture.md](docs/v2/architecture.md) | 목표, v1과 비교, 하드웨어 자원 배분, 전체 구조, 기술 선택 |
|
|
| [docs/v2/voice-and-llm.md](docs/v2/voice-and-llm.md) | 실시간 음성 파이프라인(STT, TTS, 지연 목표)과 LLM(Strata, 모델) |
|
|
| [docs/v2/conversation.md](docs/v2/conversation.md) | 10명 동시 대화, 호출어와 지정한 사람, 응답 정책, AI 채팅 채널 |
|
|
| [docs/v2/memory.md](docs/v2/memory.md) | 이전 대화 참고(대화 기억) |
|
|
| [docs/v2/desktop-app.md](docs/v2/desktop-app.md) | 관리 앱: 첫 실행 마법사, 데이터 폴더, 설정 화면, 로그 화면 |
|
|
| [docs/v2/pc-features.md](docs/v2/pc-features.md) | 게임 모드, 화면 보기, 키보드·마우스와 안티치트, 봇용 크롬창, 화면공유 보기, 정보 수집 |
|
|
| [docs/v2/privacy.md](docs/v2/privacy.md) | 개인정보·법적 안전장치 |
|
|
| [docs/v2/roadmap.md](docs/v2/roadmap.md) | 구현 단계(M0~M8)와 위험 요소 |
|
|
| [docs/v2/decisions.md](docs/v2/decisions.md) | 확정된 결정과 확인이 필요한 질문 |
|
|
|
|
## 크레딧
|
|
|
|
두뇌(메모리, 도구, 답변 엔진)는 [isair/jarvis](https://github.com/isair/jarvis)를 기반으로 합니다. 원본 README는 [docs/UPSTREAM-README.md](docs/UPSTREAM-README.md)에 있습니다.
|