Discord allows only one popped-out share window and picks the stream inside it, so there is never a choice between windows. Use the voice channel's streaming state instead: one streamer means capture directly, two or more means asking the user to pick that person in the popout when the requested person changes. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
157 lines
15 KiB
Markdown
157 lines
15 KiB
Markdown
# PC 기능: 게임 모드, 화면 보기, 키보드·마우스, 화면공유
|
|
|
|
디스코드 봇만으로는 할 수 없고, 게임PC에서 도는 exe라서 가능한 기능입니다.
|
|
|
|
## 게임 모드
|
|
|
|
게임을 켜면 VRAM을 두고 다툽니다. 앱이 게임 실행을 스스로 감지해서, GUI에서 켜 둔 동작만 자동으로 실행합니다.
|
|
|
|
### 게임 감지 기준
|
|
|
|
| 기준 | 내용 |
|
|
|---|---|
|
|
| 독점 전체화면 | Windows가 알려 주는 "전체화면 D3D 앱 실행 중" 상태로 감지합니다. |
|
|
| 테두리 없는 창 모드 (borderless) | 앞에 있는 창이 아래 세 조건을 모두 만족하면 게임으로 봅니다. 셋 다 맞아야 하므로 일반 프로그램을 최대화한 것과 구분됩니다. (1) 모니터 한 장을 빈틈없이 덮습니다. (2) 제목 표시줄·테두리가 없습니다. (3) 그 프로세스가 GPU 3D 엔진을 일정 수준 이상 씁니다. |
|
|
| 게임 폴더·목록 | Steam, Epic, Riot, Battle.net 게임 폴더에서 실행된 프로그램과 GUI에서 직접 등록한 게임은 창 모양과 상관없이 게임으로 봅니다. |
|
|
| 게임이 아닌 것 | 브라우저 전체화면 영상, 동영상 플레이어, 바탕화면, 디스코드, 봇용 크롬은 제외합니다. 잘못 잡히는 프로그램은 "게임 아님" 목록에 넣습니다. |
|
|
|
|
한 번 게임으로 감지되면 게임 프로세스가 끝날 때까지 게임 모드를 유지합니다. Alt+Tab으로 다른 창을 봐도 마찬가지입니다. 게임이 뒤에 있어도 VRAM은 계속 쓰기 때문입니다. 대시보드에는 "게임 모드: 켜짐 (게임 이름, 감지 이유)"를 표시합니다.
|
|
|
|
### 게임 모드 동작 (각각 켜기/끄기)
|
|
|
|
| 동작 | 기본값 | 내용 |
|
|
|---|---|---|
|
|
| (a) LLM을 RAM 위주로 | **켜짐** | LLM이 쓰던 VRAM을 줄여 게임에 내줍니다. "게임용으로 비울 VRAM"(기본 8GB)을 GUI에서 정합니다. 답은 조금 느려집니다. |
|
|
| (b) 빠름 모델로 바꾸기 | 꺼짐 | 권장 모델을 쓰던 중이면 빠름 모델로 바꿉니다. (a)와 같이 켜면 빠름 모델을 RAM 위주로 올립니다. |
|
|
| (c) 봇 일시정지 | 꺼짐 | 게임 중에는 대답하지 않습니다. 켜면 (a)(b)는 의미가 없어서 GUI에서 흐리게 표시합니다. |
|
|
| 게임 종료 후 되돌리기 | 30초 뒤 | 게임을 껐다 바로 다시 켤 때 모델을 반복해서 옮기지 않도록, 게임이 끝나고 정한 시간 뒤에 원래 상태로 돌립니다. |
|
|
|
|
(a)(b)는 LLM 서버를 다른 배치로 다시 띄우는 것이라 전환하는 몇 초~수십 초 동안은 대답이 늦어집니다. 전환 시간은 M0에서 재고, 전환 중에는 "모델 전환 중"을 대시보드에 표시합니다. 모든 판단은 PC 안에서만 하고 게임 화면은 보지 않습니다.
|
|
|
|
## 화면 보기: 전체 화면, 모니터별, 프로그램(창)별
|
|
|
|
- Windows Graphics Capture API로 다음을 볼 수 있습니다.
|
|
- 전체 화면: 모니터 여러 대를 한 장으로 이어 붙인 화면
|
|
- 모니터별 화면: 1번, 2번, 3번 모니터를 따로
|
|
- 프로그램(창)별 화면: 켜져 있는 창 하나하나. 다른 창에 가려져 있어도 캡처됩니다.
|
|
- 자비스에게는 "화면 보기" 도구로 연결합니다. "2번 모니터 뭐 떠 있어?", "크롬 창 내용 읽어 줘"처럼 물으면 해당 화면을 캡처해 이미지로 판단합니다.
|
|
- GUI 미리보기에서도 같은 대상을 고를 수 있습니다.
|
|
- **캡처 제외 목록**: 은행, 비밀번호 관리자처럼 봇이 보면 안 되는 프로그램을 지정합니다. 그 창은 캡처하지 않고, 전체 화면 캡처에서도 가립니다.
|
|
- **안 보이는 경우**: 최소화된 창, 저작권 보호 영상(넷플릭스 등), 일부 게임의 독점 전체화면은 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다. 캡처가 실패하면 자비스가 "그 화면은 볼 수 없다"고 그대로 말합니다.
|
|
|
|
## 화면 질문을 빠르게
|
|
|
|
"2번 화면에 뭐 떠 있어?"에서 시간이 드는 곳은 세 군데입니다. 셋 다 줄입니다.
|
|
|
|
1. 화면 캡처
|
|
2. 이미지 줄이기·변환
|
|
3. LLM이 이미지를 읽는 시간
|
|
|
|
| 방법 | 내용 |
|
|
|---|---|
|
|
| 캡처 미리 준비 | 캡처 세션은 새로 열 때 시간이 걸립니다. 그래서 누군가 말을 시작하면(음성 감지 시점) 모니터별 캡처 세션을 미리 열어 두고, 각 모니터의 **가장 최근 한 장만** GPU 메모리에 들고 있습니다. 질문이 끝났을 때는 이미 있는 한 장을 꺼내기만 하면 됩니다. 말이 끝나고 일정 시간 질문이 없으면 세션을 닫습니다. 설정: 말하는 중에만(기본) / 항상 / 끔. 미리 잡아 둔 화면은 메모리에만 있고 저장하거나 밖으로 보내지 않으며, 계속 새 화면으로 덮어씁니다. |
|
|
| GPU에서 바로 줄이기 | 4K 원본을 CPU로 옮기지 않고 GPU에서 모델이 읽기 좋은 크기로 줄인 뒤 JPEG로 만듭니다. 캡처 제외 프로그램 가리기도 이 단계에서 같이 합니다. |
|
|
| 화질 단계 | 빠름(긴 변 약 768px) / 보통(약 1280px, 기본) / 자세히(원본을 나눠서 여러 장). 이미지가 작을수록 LLM이 읽는 양이 줄어 빨라집니다. "글자 읽어 줘"처럼 세밀한 질문이면 AI가 스스로 "자세히"를 고릅니다. |
|
|
| 도구 호출 한 번으로 | AI가 "화면 보기" 도구를 부르면 캡처 이미지를 바로 같은 대화에 붙여 이어서 답합니다. LLM 엔진이 지원하면 고정된 앞부분(시스템 프롬프트 등)은 다시 계산하지 않게 캐시합니다. |
|
|
| 창 단위로 좁히기 | "크롬 창"처럼 창을 말하면 모니터 전체가 아니라 그 창만 캡처합니다. |
|
|
| 답도 문장 단위로 | 이미지를 읽은 뒤 답의 첫 문장이 나오면 바로 읽기 시작합니다. |
|
|
|
|
| 단계 (질문이 끝난 뒤) | 목표 |
|
|
|---|---|
|
|
| 최근 화면 꺼내기 + 줄이기·JPEG | 50ms 이내 |
|
|
| AI가 "화면 보기" 도구 고르기 | 100~250ms |
|
|
| LLM이 이미지 읽기 (보통 화질) | 300~800ms |
|
|
| 첫 문장 + TTS | 일반 질문과 같음 |
|
|
| **합계** | **일반 질문보다 0.5~1초 더, 약 1.5~2.5초** |
|
|
|
|
**확인이 필요한 점**: 이미지를 읽으려면 LLM이 이미지 입력을 지원해야 합니다. M0에서 다음을 잽니다.
|
|
|
|
- 빠름/권장 모델의 이미지 입력 지원
|
|
- Strata의 이미지 입력 지원
|
|
- 화질 단계별 실제 시간
|
|
|
|
못 읽으면 작은 이미지 전용 모델을 하나 더 올리는 예비안을 쓰고, VRAM 배분을 다시 계산합니다. Windows 11에서는 캡처할 때 노란 테두리가 뜨지 않게 설정합니다.
|
|
|
|
## 키보드·마우스 제어와 안티치트
|
|
|
|
- 키보드·마우스는 Windows 입력 API로 넣습니다.
|
|
- 자비스가 직접 조작할 때는 **허용 범위**와 **위험 동작 확인**을 거칩니다. 파일 삭제, 결제, 전송 등은 음성/GUI로 한 번 더 확인합니다.
|
|
- **비상 정지 단축키**를 누르면 모든 자동 조작이 즉시 멈춥니다.
|
|
|
|
### 안티치트 게임 실행 중에는 제어를 막습니다
|
|
|
|
발로란트(Vanguard) 같은 커널 안티치트는 프로그램이 넣는 입력을 감지해 계정을 제재할 수 있습니다. 그래서 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 조작 요청을 받아도 아무것도 입력하지 않습니다. 음성, 채팅, GUI 조작 모두 같습니다. 대신 이렇게 안내합니다.
|
|
|
|
> 뱅가드가 적용된 게임(VALORANT)이 실행 중이어서 키보드/마우스 제어를 할 수 없습니다.
|
|
|
|
- 안티치트 이름과 게임 이름은 실제로 감지한 것으로 바뀝니다.
|
|
- 음성으로 시켰으면 음성으로, 채팅으로 시켰으면 채팅으로 답하고, GUI에도 표시합니다.
|
|
- 게임을 끄면 다시 제어할 수 있습니다.
|
|
- 화면 보기는 화면을 읽기만 하므로 그대로 됩니다.
|
|
|
|
| 안티치트 (기본 목록) | 감지 방법 |
|
|
|---|---|
|
|
| 뱅가드 (Vanguard) | 뱅가드 드라이버는 PC를 켤 때부터 항상 올라와 있습니다. 그래서 드라이버가 아니라 **Riot 게임 프로세스**(VALORANT, 리그 오브 레전드)가 실행 중인지로 판단합니다. |
|
|
| Easy Anti-Cheat, BattlEye, FACEIT AC, nProtect GameGuard, XIGNCODE3 등 | 게임과 함께 실행되는 안티치트 프로세스·서비스가 떠 있는지로 판단합니다. |
|
|
| 목록에 없는 게임 | PC 제어 화면에서 "이 게임은 안티치트 있음"으로 직접 추가합니다. 감지를 끄는 우회 설정은 만들지 않습니다(계정 정지 위험). |
|
|
|
|
정확한 프로세스 이름 목록은 M0에서 게임PC에 설치된 게임으로 확인하고, 앱 업데이트로 늘려 갑니다.
|
|
|
|
## 봇용 크롬창과 디스코드 화면공유
|
|
|
|
셀프봇 Go Live 송출은 v2에서 뺍니다. 대신 봇이 쓰는 크롬창을 사용자가 디스코드 앱에서 직접 화면공유할 수 있게 합니다.
|
|
|
|
- **GUI 설정 "봇용 크롬창 화면공유 선택 표시"**:
|
|
- 켜짐: 봇용 크롬창이 있는 가상 모니터가 디스코드 "화면 공유 → 화면" 탭에 나타납니다(아래 가상 모니터 방식).
|
|
- 꺼짐(기본): 봇용 크롬창은 화면 없이(백그라운드) 돌고, 디스코드 목록에도 나오지 않습니다.
|
|
- **Alt+Tab, Win+Tab, 작업 표시줄에는 항상 안 보입니다.** 켜짐 상태에서도 창을 "도구 창" 속성으로 바꿔 창 전환 목록에서 빼고, 다른 창들 뒤(맨 아래)에 둡니다.
|
|
- 크롬은 가려진 창의 그리기를 멈추는 기능이 있습니다. 봇용 크롬은 이 기능을 끄고 실행해서, 다른 창 뒤에 있어도 화면공유 영상이 멈추지 않게 합니다.
|
|
|
|
**먼저 확인할 점**: 디스코드가 화면공유 목록을 Alt+Tab과 같은 기준으로 거르면, 도구 창 속성 때문에 목록에서도 빠질 수 있습니다. M0 확인 스크립트에서 가장 먼저 봅니다.
|
|
|
|
**M0 결과**: 도구 창으로 바꾸면 디스코드 "창" 목록에서도 빠졌습니다. 그래서 아래 가상 모니터 방식으로 갑니다(사용자 선택: 두 번째 모니터에도 보이지 않게).
|
|
|
|
**가상 모니터 방식**: 가상 모니터를 하나 만들고 봇용 크롬을 그 모니터에 둡니다.
|
|
|
|
- 가상 디스플레이 드라이버는 앱 설치 파일에 들어 있어야 합니다(다른 프로그램 설치를 전제로 하지 않음). 오픈소스 Virtual Display Driver(MIT, SignPath 재단 서명)를 함께 넣고, 앱이 가상 모니터 수를 바꿔 켜고 끕니다(사용자 선택). 설치 때 관리자 권한을 한 번 묻습니다(설치 승인받음). 대상은 x64 Windows 10/11(S 모드 제외)입니다.
|
|
- 앱이 꺼질 때는 봇용 크롬을 먼저 닫습니다. 가상 모니터가 먼저 사라지면 그 위의 창이 실제 모니터로 옮겨질 수 있기 때문입니다.
|
|
- M0 `vdisplay` 단계(Parsec 드라이버로 하는 개념 확인)는 돌리지 않기로 했습니다(사용자 결정). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치는 M6에서 함께 넣을 드라이버로 직접 확인합니다. 드라이버 설치 시험은 게임PC가 아니라 서버의 Windows 가상머신에서 먼저 합니다.
|
|
- 마우스가 가상 모니터로 넘어가지 않도록, 실제 모니터와 구석 한 점만 닿게 배치합니다.
|
|
- 디스코드에서는 "화면" 탭에서 그 가상 모니터를 고릅니다.
|
|
- Alt+Tab에서는 그대로 빠지고, 실제 모니터에도 보이지 않습니다.
|
|
|
|
## 다른 사람의 디스코드 화면공유 보기 (창 분리 방식)
|
|
|
|
**쓰지 않는 방법**: discord.exe의 앱 데이터에서 로그인 토큰을 꺼내 쓰는 방식은 하지 않습니다.
|
|
|
|
- 디스코드 약관 위반이라 계정이 정지될 수 있습니다.
|
|
- 백신이 토큰 탈취 악성코드로 탐지하는 동작과 같습니다.
|
|
- 토큰이 새면 계정 전체가 넘어갑니다.
|
|
|
|
공식 봇 계정은 원래 화면공유 영상을 받을 수 없습니다.
|
|
|
|
**쓰는 방법**: 화면공유 창을 분리(팝아웃)해서 그 창만 캡처합니다.
|
|
|
|
디스코드 앱에는 시청 중인 화면공유를 별도 창으로 떼어 내는 "팝아웃" 기능이 있습니다. 분리된 창에는 채팅·멤버 목록이 섞이지 않고 공유 화면만 담겨 있습니다. 그래서 그 창만 캡처하면 이미지가 작고 깨끗해서 빠르고 정확합니다. 계정이나 토큰은 건드리지 않습니다.
|
|
|
|
1. "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다.
|
|
2. 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다. 자비스가 디스코드 앱을 직접 눌러 창을 분리하지는 않습니다. 디스코드 화면 배치가 바뀌면 자동 조작이 깨지기 쉽기 때문입니다.
|
|
3. 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다.
|
|
4. 디스코드는 화면공유 분리 창을 하나만 만들 수 있고, 그 창 안에서 어떤 사람의 화면공유를 볼지 고릅니다. 창 제목에는 음성 채널 이름만 들어가서 지금 누구 화면이 나오는지는 제목으로 알 수 없습니다(M0 결과). 그래서 누가 화면공유 중인지는 봇이 음성 채널 상태로 확인합니다.
|
|
- 화면공유 중인 사람이 한 명이면 분리 창에 그 사람 화면만 나오므로 바로 캡처해 답합니다.
|
|
- 두 명 이상인데 처음 묻거나 지난번과 다른 사람을 물으면, "분리 창에서 철수님 화면을 골라 주세요."라고 말합니다. "됐어"라고 하거나 기본 5초가 지나면 캡처해 답합니다. 같은 사람을 이어서 물으면 바로 답합니다.
|
|
- 질문에 이름이 없으면("지금 화면 뭐야?") 분리 창에 나오는 화면을 그대로 봅니다.
|
|
|
|
**M0 결과**:
|
|
|
|
1. 분리 창은 새로 생긴 디스코드 창(`Chrome_WidgetWin_1`)으로 찾을 수 있었습니다. 창 제목에는 공유자 이름이 없고 음성 채널 이름만 있습니다. 분리 창은 하나뿐이라 찾은 창을 그대로 쓰면 됩니다.
|
|
2. 분리된 창이 다른 창에 완전히 가려져도 영상은 계속 그려졌습니다(캡처 22장 모두 달랐고 검은 화면 없음). 다른 모니터로 옮겨 둘 필요가 없습니다.
|
|
|
|
최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다.
|
|
|
|
## 백그라운드 크로미움으로 정보 수집
|
|
|
|
- 봇용 크롬(데이터 폴더 안)을 Playwright로 조종합니다. 웹 검색, 페이지 읽기, 예약 수집에 씁니다.
|
|
- 기존 webSearch 도구의 보안 장치를 그대로 가져갑니다. 내부망 접근을 막고, 웹 내용은 명령이 아닌 데이터로 다룹니다.
|
|
- 예약 수집은 기능 틀(사이트·검색어·RSS를 주기적으로 모으는 기능)만 만들고 **수집 대상은 비워 둡니다**. 수집 결과는 데이터 폴더에만 저장합니다.
|