f991981776968e1bc1a35e669c4b629f3a2919b9
The first-run setup writes voiceWorker.cwd; when it ran from another install, an updated app kept starting that install's older sources (found on the game PC: 0.1.1 ran without the screenView tool). Shipped sources next to the executable now always win. Version 0.1.2. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Javis Bot v2
게임PC 한 대에서 완전 로컬로 도는 디스코드 음성 비서입니다. 설치 파일 하나로 깔리는 Windows 관리 앱(exe) 에서 모든 설정과 관리를 합니다.
상태: 설계 단계. 이 문서와 docs/v2/는 v2 계획입니다. 지금 저장소의 코드는 v1(Docker + VNC 구성)이고, v1 사용법은 docs/v1/README.md에 있습니다.
개인정보 우선
- 음성 인식(STT), 답변(LLM), 음성 합성(TTS)을 모두 게임PC 안에서 처리합니다. 클라우드 AI API는 쓰지 않습니다. 밖으로 나가는 요청은 웹 검색과 날씨 조회뿐입니다.
- 음성 원본과 화면 캡처는 기본적으로 저장하지 않습니다.
- 대화 기록은 사람별로 보고 지울 수 있습니다.
- 봇 토큰 같은 비밀값은 Windows DPAPI로 암호화해서 저장합니다.
자세한 내용: docs/v2/privacy.md
주요 기능
- 빠른 음성 대화: 말하는 도중에 전사하고 답은 문장 단위로 바로 읽어서, 말이 끝난 뒤 첫 소리까지 약 1~1.5초를 목표로 합니다.
- 최대 10명 동시 대화: 화자별로 따로 받아 전사합니다. 여러 명이 동시에 부를 때 어떻게 답할지(처음 대화만 / 들어온 순서대로 / 마지막 대화만 / 제일 중요한 대화만)는 GUI에서 고릅니다.
- 호출어와 지정한 사람:
- 호출어는 GUI에서 여러 개 등록합니다.
- "지정한 사람만 응답"과 "지정한 사람은 호출어 없이 대답"을 각각 켜고 끕니다.
- AI 채팅 채널: 등록한 디스코드 채팅 채널을 자비스가 읽고, 메시지를 보내고, 자기 메시지를 고칩니다. 채널 ID, 이름, 설명은 GUI에서 편집하고, 고친 이름·설명은 실제 디스코드 채널 이름·주제에도 반영합니다(끌 수 있음).
- 예약 알림과 정기 작업: "10분 뒤에 알려 줘", "내일 7시에 회의 알려 줘", "평일 아침 9시에 날씨 알려 줘"처럼 말이나 채팅으로 맡깁니다. 맡긴 사람이 자비스와 같은 음성 채널에 있으면 음성으로, 아니면 채팅 채널에 글로 전합니다. 정기 작업은 날씨, 웹 검색처럼 찾아보는 기능만 쓰고, 관리 앱 "예약" 화면에서 목록을 보고 지울 수 있습니다.
- 수집 소식 알림: 백그라운드 수집 대상마다 새 글을 바로, 또는 하루 한 번 정한 채팅 채널에 제목과 링크로 알립니다(기본은 알리지 않음). "수집한 소식 정리해 줘"처럼 물으면 모은 글을 읽고 답하며, 정기 작업으로 맡길 수도 있습니다.
- 사람별 지침: "앞으로 나한테는 반말로 해", "날씨는 섭씨로만"처럼 말하면 그 사람의 지침으로 저장하고, 그 사람에게 답할 때만 따릅니다. 관리 앱 "사람별 지침" 화면에서 보고 고칠 수 있습니다.
- 대화 기억: 본인이 말했던 기록, 등록한 채팅 채널, 같은 음성 채널에 함께 있던 다른 사람 말에서 이번 질문과 관련된 내용을 찾아 답할 때 참고합니다. 다른 사람 말 참고는 GUI에서 끌 수 있습니다.
- 화면 보기:
- 전체 화면, 모니터별, 프로그램(창)별 화면을 자비스가 직접 봅니다. 관리 앱 "PC 제어" 화면에 등록한 사람만 시킬 수 있습니다.
- 비밀번호 관리자처럼 보면 안 되는 프로그램은 "화면 보기에서 뺄 프로그램"에 넣으면 그 창을 고르지 않고, 전체 화면에서도 검게 가립니다. 캡처한 그림은 그 답에만 쓰고 저장하지 않습니다.
- "2번 화면에 뭐 떠 있어?" 같은 질문도 1.5~2.5초 안에 답하는 것을 목표로 합니다.
- 다른 사람의 디스코드 화면공유는 자비스가 말로 공유 창 분리(팝아웃)를 부탁하고, 분리된 창만 캡처해서 봅니다.
- 게임 모드:
- 전체화면 게임과 테두리 없는 창 모드 게임을 감지합니다.
- 게임 중에는 LLM이 쓰던 VRAM을 게임에 내주도록 앱이 자동으로 조절합니다. 모델은 하나만 쓰고, PC 성능이 부족하면 그 PC에 맞게 설정을 낮춥니다.
- 원하면 게임 중에는 봇을 일시정지할 수 있습니다.
- 안티치트 보호: 뱅가드 같은 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 자동 조작을 막고 그 이유를 알려 줍니다.
- 기존 기능 유지: 메모리, 날씨, 웹 검색, 식단 기록, MCP, 브라우저 제어를 그대로 가져갑니다.
- 관리 앱:
- 첫 실행 마법사, 대시보드, 모델 다운로드, 기능별 켜기/끄기를 제공합니다.
- 로그 화면에서 로그를 보고, 복사하고, 내려받을 수 있습니다. 비밀값은 자동으로 가립니다.
요구 사항 (예정)
| 항목 | 기준 |
|---|---|
| OS | Windows 11 |
| GPU | NVIDIA RTX 계열, VRAM 16GB 권장 (기준 PC: RTX 5070 Ti 16GB) |
| 드라이버 | NVIDIA 580 이상 (CUDA 13). 낮으면 CUDA 12 빌드를 씁니다 |
| RAM | 32GB 이상 (기준 PC: 128GB) |
| 디스크 | 최소 120GB, 권장 200GB 이상 여유 (NVMe 권장) |
| 디스코드 | 봇 토큰 1개. 채팅 채널을 쓰려면 개발자 포털에서 Message Content Intent를 켭니다 |
Python, CUDA 라이브러리, 모델, 브라우저는 첫 실행 때 사용자가 고른 데이터 폴더에 자동으로 받습니다. 따로 설치할 것은 NVIDIA 드라이버뿐입니다.
설치 (예정)
- 설치 파일(exe)을 실행합니다. 서명되지 않은 파일이라 SmartScreen 경고가 뜨면 "추가 정보 → 실행"을 누릅니다.
- 첫 실행 마법사를 따라갑니다.
- 데이터 폴더를 고릅니다.
- PC 점검을 합니다.
- 받을 모델 크기와 예상 시간을 확인합니다.
- 자동 설치와 자가 점검(이 PC에 맞는 설정 정하기)을 기다립니다.
- 디스코드 봇을 연결합니다.
- 테스트합니다.
- 대시보드에서 봇을 시작합니다.
알려진 제한 (예정)
- 저작권 보호 영상, 일부 게임의 독점 전체화면, 최소화된 창은 캡처가 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다.
- 화면 보기는 이미지 입력을 지원하는 LLM에서만 됩니다.
- 디스코드 봇은 다른 사람의 메시지를 수정할 수 없습니다. 삭제와 고정만 됩니다.
- 공식 봇 계정은 화면공유 영상을 직접 받을 수 없습니다. 그래서 게임PC의 디스코드 앱 창을 캡처하는 방식을 씁니다.
문서
| 문서 | 내용 |
|---|---|
| docs/v2/architecture.md | 목표, v1과 비교, 하드웨어 자원 배분, 전체 구조, 기술 선택 |
| docs/v2/voice-and-llm.md | 실시간 음성 파이프라인(STT, TTS, 지연 목표)과 LLM(Strata, 모델) |
| docs/v2/conversation.md | 10명 동시 대화, 호출어와 지정한 사람, 응답 정책, AI 채팅 채널 |
| docs/v2/memory.md | 이전 대화 참고(대화 기억) |
| docs/v2/desktop-app.md | 관리 앱: 첫 실행 마법사, 데이터 폴더, 설정 화면, 로그 화면 |
| docs/v2/pc-features.md | 게임 모드, 화면 보기, 키보드·마우스와 안티치트, 봇용 크롬창, 화면공유 보기, 정보 수집 |
| docs/v2/privacy.md | 개인정보·법적 안전장치 |
| docs/v2/roadmap.md | 구현 단계(M0~M8)와 위험 요소 |
| docs/v2/decisions.md | 확정된 결정 |
크레딧
두뇌(메모리, 도구, 답변 엔진)는 isair/jarvis를 기반으로 합니다. 원본 README는 docs/UPSTREAM-README.md에 있습니다.
Description
Releases
70
app-v0.1.52
Latest
Languages
Python
94.4%
TypeScript
2.6%
JavaScript
1.2%
Shell
0.8%
Batchfile
0.4%
Other
0.6%