Files
javis_bot/docs/v2/pc-features.md
javis-bot 4a15384bc6 docs: add v2 plan README and docs/v2, move v1 README to docs/v1
Replace the root README with the v2 plan (game PC fully local, Windows
management app) and split the plan into docs/v2/*.md: architecture,
voice-and-llm, conversation, memory, desktop-app, pc-features, privacy,
roadmap, decisions. The v1 README moves to docs/v1/README.md with its
relative links fixed; .env.example points to the new location.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-09 13:10:47 +09:00

149 lines
13 KiB
Markdown

# PC 기능: 게임 모드, 화면 보기, 키보드·마우스, 화면공유
디스코드 봇만으로는 할 수 없고, 게임PC에서 도는 exe라서 가능한 기능입니다.
## 게임 모드
게임을 켜면 VRAM을 두고 다툽니다. 앱이 게임 실행을 스스로 감지해서, GUI에서 켜 둔 동작만 자동으로 실행합니다.
### 게임 감지 기준
| 기준 | 내용 |
|---|---|
| 독점 전체화면 | Windows가 알려 주는 "전체화면 D3D 앱 실행 중" 상태로 감지합니다. |
| 테두리 없는 창 모드 (borderless) | 앞에 있는 창이 아래 세 조건을 모두 만족하면 게임으로 봅니다. 셋 다 맞아야 하므로 일반 프로그램을 최대화한 것과 구분됩니다. (1) 모니터 한 장을 빈틈없이 덮습니다. (2) 제목 표시줄·테두리가 없습니다. (3) 그 프로세스가 GPU 3D 엔진을 일정 수준 이상 씁니다. |
| 게임 폴더·목록 | Steam, Epic, Riot, Battle.net 게임 폴더에서 실행된 프로그램과 GUI에서 직접 등록한 게임은 창 모양과 상관없이 게임으로 봅니다. |
| 게임이 아닌 것 | 브라우저 전체화면 영상, 동영상 플레이어, 바탕화면, 디스코드, 봇용 크롬은 제외합니다. 잘못 잡히는 프로그램은 "게임 아님" 목록에 넣습니다. |
한 번 게임으로 감지되면 게임 프로세스가 끝날 때까지 게임 모드를 유지합니다. Alt+Tab으로 다른 창을 봐도 마찬가지입니다. 게임이 뒤에 있어도 VRAM은 계속 쓰기 때문입니다. 대시보드에는 "게임 모드: 켜짐 (게임 이름, 감지 이유)"를 표시합니다.
### 게임 모드 동작 (각각 켜기/끄기)
| 동작 | 기본값 | 내용 |
|---|---|---|
| (a) LLM을 RAM 위주로 | **켜짐** | LLM이 쓰던 VRAM을 줄여 게임에 내줍니다. "게임용으로 비울 VRAM"(기본 8GB)을 GUI에서 정합니다. 답은 조금 느려집니다. |
| (b) 빠름 모델로 바꾸기 | 꺼짐 | 권장 모델을 쓰던 중이면 빠름 모델로 바꿉니다. (a)와 같이 켜면 빠름 모델을 RAM 위주로 올립니다. |
| (c) 봇 일시정지 | 꺼짐 | 게임 중에는 대답하지 않습니다. 켜면 (a)(b)는 의미가 없어서 GUI에서 흐리게 표시합니다. |
| 게임 종료 후 되돌리기 | 30초 뒤 | 게임을 껐다 바로 다시 켤 때 모델을 반복해서 옮기지 않도록, 게임이 끝나고 정한 시간 뒤에 원래 상태로 돌립니다. |
(a)(b)는 LLM 서버를 다른 배치로 다시 띄우는 것이라 전환하는 몇 초~수십 초 동안은 대답이 늦어집니다. 전환 시간은 M0에서 재고, 전환 중에는 "모델 전환 중"을 대시보드에 표시합니다. 모든 판단은 PC 안에서만 하고 게임 화면은 보지 않습니다.
## 화면 보기: 전체 화면, 모니터별, 프로그램(창)별
- Windows Graphics Capture API로 다음을 볼 수 있습니다.
- 전체 화면: 모니터 여러 대를 한 장으로 이어 붙인 화면
- 모니터별 화면: 1번, 2번, 3번 모니터를 따로
- 프로그램(창)별 화면: 켜져 있는 창 하나하나. 다른 창에 가려져 있어도 캡처됩니다.
- 자비스에게는 "화면 보기" 도구로 연결합니다. "2번 모니터 뭐 떠 있어?", "크롬 창 내용 읽어 줘"처럼 물으면 해당 화면을 캡처해 이미지로 판단합니다.
- GUI 미리보기에서도 같은 대상을 고를 수 있습니다.
- **캡처 제외 목록**: 은행, 비밀번호 관리자처럼 봇이 보면 안 되는 프로그램을 지정합니다. 그 창은 캡처하지 않고, 전체 화면 캡처에서도 가립니다.
- **안 보이는 경우**: 최소화된 창, 저작권 보호 영상(넷플릭스 등), 일부 게임의 독점 전체화면은 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다. 캡처가 실패하면 자비스가 "그 화면은 볼 수 없다"고 그대로 말합니다.
## 화면 질문을 빠르게
"2번 화면에 뭐 떠 있어?"에서 시간이 드는 곳은 세 군데입니다. 셋 다 줄입니다.
1. 화면 캡처
2. 이미지 줄이기·변환
3. LLM이 이미지를 읽는 시간
| 방법 | 내용 |
|---|---|
| 캡처 미리 준비 | 캡처 세션은 새로 열 때 시간이 걸립니다. 그래서 누군가 말을 시작하면(음성 감지 시점) 모니터별 캡처 세션을 미리 열어 두고, 각 모니터의 **가장 최근 한 장만** GPU 메모리에 들고 있습니다. 질문이 끝났을 때는 이미 있는 한 장을 꺼내기만 하면 됩니다. 말이 끝나고 일정 시간 질문이 없으면 세션을 닫습니다. 설정: 말하는 중에만(기본) / 항상 / 끔. 미리 잡아 둔 화면은 메모리에만 있고 저장하거나 밖으로 보내지 않으며, 계속 새 화면으로 덮어씁니다. |
| GPU에서 바로 줄이기 | 4K 원본을 CPU로 옮기지 않고 GPU에서 모델이 읽기 좋은 크기로 줄인 뒤 JPEG로 만듭니다. 캡처 제외 프로그램 가리기도 이 단계에서 같이 합니다. |
| 화질 단계 | 빠름(긴 변 약 768px) / 보통(약 1280px, 기본) / 자세히(원본을 나눠서 여러 장). 이미지가 작을수록 LLM이 읽는 양이 줄어 빨라집니다. "글자 읽어 줘"처럼 세밀한 질문이면 AI가 스스로 "자세히"를 고릅니다. |
| 도구 호출 한 번으로 | AI가 "화면 보기" 도구를 부르면 캡처 이미지를 바로 같은 대화에 붙여 이어서 답합니다. LLM 엔진이 지원하면 고정된 앞부분(시스템 프롬프트 등)은 다시 계산하지 않게 캐시합니다. |
| 창 단위로 좁히기 | "크롬 창"처럼 창을 말하면 모니터 전체가 아니라 그 창만 캡처합니다. |
| 답도 문장 단위로 | 이미지를 읽은 뒤 답의 첫 문장이 나오면 바로 읽기 시작합니다. |
| 단계 (질문이 끝난 뒤) | 목표 |
|---|---|
| 최근 화면 꺼내기 + 줄이기·JPEG | 50ms 이내 |
| AI가 "화면 보기" 도구 고르기 | 100~250ms |
| LLM이 이미지 읽기 (보통 화질) | 300~800ms |
| 첫 문장 + TTS | 일반 질문과 같음 |
| **합계** | **일반 질문보다 0.5~1초 더, 약 1.5~2.5초** |
**확인이 필요한 점**: 이미지를 읽으려면 LLM이 이미지 입력을 지원해야 합니다. M0에서 다음을 잽니다.
- 빠름/권장 모델의 이미지 입력 지원
- Strata의 이미지 입력 지원
- 화질 단계별 실제 시간
못 읽으면 작은 이미지 전용 모델을 하나 더 올리는 예비안을 쓰고, VRAM 배분을 다시 계산합니다. Windows 11에서는 캡처할 때 노란 테두리가 뜨지 않게 설정합니다.
## 키보드·마우스 제어와 안티치트
- 키보드·마우스는 Windows 입력 API로 넣습니다.
- 자비스가 직접 조작할 때는 **허용 범위**와 **위험 동작 확인**을 거칩니다. 파일 삭제, 결제, 전송 등은 음성/GUI로 한 번 더 확인합니다.
- **비상 정지 단축키**를 누르면 모든 자동 조작이 즉시 멈춥니다.
### 안티치트 게임 실행 중에는 제어를 막습니다
발로란트(Vanguard) 같은 커널 안티치트는 프로그램이 넣는 입력을 감지해 계정을 제재할 수 있습니다. 그래서 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 조작 요청을 받아도 아무것도 입력하지 않습니다. 음성, 채팅, GUI 조작 모두 같습니다. 대신 이렇게 안내합니다.
> 뱅가드가 적용된 게임(VALORANT)이 실행 중이어서 키보드/마우스 제어를 할 수 없습니다.
- 안티치트 이름과 게임 이름은 실제로 감지한 것으로 바뀝니다.
- 음성으로 시켰으면 음성으로, 채팅으로 시켰으면 채팅으로 답하고, GUI에도 표시합니다.
- 게임을 끄면 다시 제어할 수 있습니다.
- 화면 보기는 화면을 읽기만 하므로 그대로 됩니다.
| 안티치트 (기본 목록) | 감지 방법 |
|---|---|
| 뱅가드 (Vanguard) | 뱅가드 드라이버는 PC를 켤 때부터 항상 올라와 있습니다. 그래서 드라이버가 아니라 **Riot 게임 프로세스**(VALORANT, 리그 오브 레전드)가 실행 중인지로 판단합니다. |
| Easy Anti-Cheat, BattlEye, FACEIT AC, nProtect GameGuard, XIGNCODE3 등 | 게임과 함께 실행되는 안티치트 프로세스·서비스가 떠 있는지로 판단합니다. |
| 목록에 없는 게임 | PC 제어 화면에서 "이 게임은 안티치트 있음"으로 직접 추가합니다. 감지를 끄는 우회 설정은 만들지 않습니다(계정 정지 위험). |
정확한 프로세스 이름 목록은 M0에서 게임PC에 설치된 게임으로 확인하고, 앱 업데이트로 늘려 갑니다.
## 봇용 크롬창과 디스코드 화면공유
셀프봇 Go Live 송출은 v2에서 뺍니다. 대신 봇이 쓰는 크롬창을 사용자가 디스코드 앱에서 직접 화면공유할 수 있게 합니다.
- **GUI 설정 "봇용 크롬창 화면공유 선택 표시"**:
- 켜짐: 봇용 크롬창이 디스코드 "화면 공유 → 창" 목록에 "Jarvis 브라우저"로 나타납니다.
- 꺼짐(기본): 봇용 크롬창은 화면 없이(백그라운드) 돌고, 디스코드 목록에도 나오지 않습니다.
- **Alt+Tab, Win+Tab, 작업 표시줄에는 항상 안 보입니다.** 켜짐 상태에서도 창을 "도구 창" 속성으로 바꿔 창 전환 목록에서 빼고, 다른 창들 뒤(맨 아래)에 둡니다.
- 크롬은 가려진 창의 그리기를 멈추는 기능이 있습니다. 봇용 크롬은 이 기능을 끄고 실행해서, 다른 창 뒤에 있어도 화면공유 영상이 멈추지 않게 합니다.
**먼저 확인할 점**: 디스코드가 화면공유 목록을 Alt+Tab과 같은 기준으로 거르면, 도구 창 속성 때문에 목록에서도 빠질 수 있습니다. M0 확인 스크립트에서 가장 먼저 봅니다.
**안 될 때 예비안**: 가상 모니터를 하나 만들고 봇용 크롬을 그 모니터에 둡니다.
- 가상 디스플레이 드라이버를 씁니다. 설치 때 관리자 권한을 한 번 묻습니다(설치 승인받음).
- 디스코드에서는 "화면" 탭에서 그 가상 모니터를 고릅니다.
- Alt+Tab에서는 그대로 빠지고, 실제 모니터에도 보이지 않습니다.
## 다른 사람의 디스코드 화면공유 보기 (창 분리 방식)
**쓰지 않는 방법**: discord.exe의 앱 데이터에서 로그인 토큰을 꺼내 쓰는 방식은 하지 않습니다.
- 디스코드 약관 위반이라 계정이 정지될 수 있습니다.
- 백신이 토큰 탈취 악성코드로 탐지하는 동작과 같습니다.
- 토큰이 새면 계정 전체가 넘어갑니다.
공식 봇 계정은 원래 화면공유 영상을 받을 수 없습니다.
**쓰는 방법**: 화면공유 창을 분리(팝아웃)해서 그 창만 캡처합니다.
디스코드 앱에는 시청 중인 화면공유를 별도 창으로 떼어 내는 "팝아웃" 기능이 있습니다. 분리된 창에는 채팅·멤버 목록이 섞이지 않고 공유 화면만 담겨 있습니다. 그래서 그 창만 캡처하면 이미지가 작고 깨끗해서 빠르고 정확합니다. 계정이나 토큰은 건드리지 않습니다.
1. "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다.
2. 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다.
3. 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다.
4. 분리된 창이 여러 개면 창 제목(공유한 사람 이름)으로 고릅니다. 이름으로 구분이 안 되면 누구 화면인지 되묻습니다.
**M0에서 확인할 점**:
1. 분리된 화면공유 창을 프로그램에서 정확히 알아보는 방법. 창 제목에 공유자 이름이 들어가는지 봅니다.
2. 분리된 창이 다른 창에 완전히 가려지면 디스코드가 영상 그리기를 멈추는지. 멈춘다면 분리된 창을 보조 모니터나 가상 모니터로 옮겨 둡니다.
최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다.
## 백그라운드 크로미움으로 정보 수집
- 봇용 크롬(데이터 폴더 안)을 Playwright로 조종합니다. 웹 검색, 페이지 읽기, 예약 수집에 씁니다.
- 기존 webSearch 도구의 보안 장치를 그대로 가져갑니다. 내부망 접근을 막고, 웹 내용은 명령이 아닌 데이터로 다룹니다.
- 예약 수집은 기능 틀(사이트·검색어·RSS를 주기적으로 모으는 기능)만 만들고 **수집 대상은 비워 둡니다**. 수집 결과는 데이터 폴더에만 저장합니다.