Only capture a named person's share when they are the sole streamer or the user has confirmed the selection in the popout. A timeout no longer captures whatever is showing, a non-streaming target gets an honest answer, and clicking the popout after confirmation asks again. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
16 KiB
PC 기능: 게임 모드, 화면 보기, 키보드·마우스, 화면공유
디스코드 봇만으로는 할 수 없고, 게임PC에서 도는 exe라서 가능한 기능입니다.
게임 모드
게임을 켜면 VRAM을 두고 다툽니다. 앱이 게임 실행을 스스로 감지해서, GUI에서 켜 둔 동작만 자동으로 실행합니다.
게임 감지 기준
| 기준 | 내용 |
|---|---|
| 독점 전체화면 | Windows가 알려 주는 "전체화면 D3D 앱 실행 중" 상태로 감지합니다. |
| 테두리 없는 창 모드 (borderless) | 앞에 있는 창이 아래 세 조건을 모두 만족하면 게임으로 봅니다. 셋 다 맞아야 하므로 일반 프로그램을 최대화한 것과 구분됩니다. (1) 모니터 한 장을 빈틈없이 덮습니다. (2) 제목 표시줄·테두리가 없습니다. (3) 그 프로세스가 GPU 3D 엔진을 일정 수준 이상 씁니다. |
| 게임 폴더·목록 | Steam, Epic, Riot, Battle.net 게임 폴더에서 실행된 프로그램과 GUI에서 직접 등록한 게임은 창 모양과 상관없이 게임으로 봅니다. |
| 게임이 아닌 것 | 브라우저 전체화면 영상, 동영상 플레이어, 바탕화면, 디스코드, 봇용 크롬은 제외합니다. 잘못 잡히는 프로그램은 "게임 아님" 목록에 넣습니다. |
한 번 게임으로 감지되면 게임 프로세스가 끝날 때까지 게임 모드를 유지합니다. Alt+Tab으로 다른 창을 봐도 마찬가지입니다. 게임이 뒤에 있어도 VRAM은 계속 쓰기 때문입니다. 대시보드에는 "게임 모드: 켜짐 (게임 이름, 감지 이유)"를 표시합니다.
게임 모드 동작 (각각 켜기/끄기)
| 동작 | 기본값 | 내용 |
|---|---|---|
| (a) LLM을 RAM 위주로 | 켜짐 | LLM이 쓰던 VRAM을 줄여 게임에 내줍니다. "게임용으로 비울 VRAM"(기본 8GB)을 GUI에서 정합니다. 답은 조금 느려집니다. |
| (b) 빠름 모델로 바꾸기 | 꺼짐 | 권장 모델을 쓰던 중이면 빠름 모델로 바꿉니다. (a)와 같이 켜면 빠름 모델을 RAM 위주로 올립니다. |
| (c) 봇 일시정지 | 꺼짐 | 게임 중에는 대답하지 않습니다. 켜면 (a)(b)는 의미가 없어서 GUI에서 흐리게 표시합니다. |
| 게임 종료 후 되돌리기 | 30초 뒤 | 게임을 껐다 바로 다시 켤 때 모델을 반복해서 옮기지 않도록, 게임이 끝나고 정한 시간 뒤에 원래 상태로 돌립니다. |
(a)(b)는 LLM 서버를 다른 배치로 다시 띄우는 것이라 전환하는 몇 초~수십 초 동안은 대답이 늦어집니다. 전환 시간은 M0에서 재고, 전환 중에는 "모델 전환 중"을 대시보드에 표시합니다. 모든 판단은 PC 안에서만 하고 게임 화면은 보지 않습니다.
화면 보기: 전체 화면, 모니터별, 프로그램(창)별
- Windows Graphics Capture API로 다음을 볼 수 있습니다.
- 전체 화면: 모니터 여러 대를 한 장으로 이어 붙인 화면
- 모니터별 화면: 1번, 2번, 3번 모니터를 따로
- 프로그램(창)별 화면: 켜져 있는 창 하나하나. 다른 창에 가려져 있어도 캡처됩니다.
- 자비스에게는 "화면 보기" 도구로 연결합니다. "2번 모니터 뭐 떠 있어?", "크롬 창 내용 읽어 줘"처럼 물으면 해당 화면을 캡처해 이미지로 판단합니다.
- GUI 미리보기에서도 같은 대상을 고를 수 있습니다.
- 캡처 제외 목록: 은행, 비밀번호 관리자처럼 봇이 보면 안 되는 프로그램을 지정합니다. 그 창은 캡처하지 않고, 전체 화면 캡처에서도 가립니다.
- 안 보이는 경우: 최소화된 창, 저작권 보호 영상(넷플릭스 등), 일부 게임의 독점 전체화면은 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다. 캡처가 실패하면 자비스가 "그 화면은 볼 수 없다"고 그대로 말합니다.
화면 질문을 빠르게
"2번 화면에 뭐 떠 있어?"에서 시간이 드는 곳은 세 군데입니다. 셋 다 줄입니다.
- 화면 캡처
- 이미지 줄이기·변환
- LLM이 이미지를 읽는 시간
| 방법 | 내용 |
|---|---|
| 캡처 미리 준비 | 캡처 세션은 새로 열 때 시간이 걸립니다. 그래서 누군가 말을 시작하면(음성 감지 시점) 모니터별 캡처 세션을 미리 열어 두고, 각 모니터의 가장 최근 한 장만 GPU 메모리에 들고 있습니다. 질문이 끝났을 때는 이미 있는 한 장을 꺼내기만 하면 됩니다. 말이 끝나고 일정 시간 질문이 없으면 세션을 닫습니다. 설정: 말하는 중에만(기본) / 항상 / 끔. 미리 잡아 둔 화면은 메모리에만 있고 저장하거나 밖으로 보내지 않으며, 계속 새 화면으로 덮어씁니다. |
| GPU에서 바로 줄이기 | 4K 원본을 CPU로 옮기지 않고 GPU에서 모델이 읽기 좋은 크기로 줄인 뒤 JPEG로 만듭니다. 캡처 제외 프로그램 가리기도 이 단계에서 같이 합니다. |
| 화질 단계 | 빠름(긴 변 약 768px) / 보통(약 1280px, 기본) / 자세히(원본을 나눠서 여러 장). 이미지가 작을수록 LLM이 읽는 양이 줄어 빨라집니다. "글자 읽어 줘"처럼 세밀한 질문이면 AI가 스스로 "자세히"를 고릅니다. |
| 도구 호출 한 번으로 | AI가 "화면 보기" 도구를 부르면 캡처 이미지를 바로 같은 대화에 붙여 이어서 답합니다. LLM 엔진이 지원하면 고정된 앞부분(시스템 프롬프트 등)은 다시 계산하지 않게 캐시합니다. |
| 창 단위로 좁히기 | "크롬 창"처럼 창을 말하면 모니터 전체가 아니라 그 창만 캡처합니다. |
| 답도 문장 단위로 | 이미지를 읽은 뒤 답의 첫 문장이 나오면 바로 읽기 시작합니다. |
| 단계 (질문이 끝난 뒤) | 목표 |
|---|---|
| 최근 화면 꺼내기 + 줄이기·JPEG | 50ms 이내 |
| AI가 "화면 보기" 도구 고르기 | 100~250ms |
| LLM이 이미지 읽기 (보통 화질) | 300~800ms |
| 첫 문장 + TTS | 일반 질문과 같음 |
| 합계 | 일반 질문보다 0.5 |
확인이 필요한 점: 이미지를 읽으려면 LLM이 이미지 입력을 지원해야 합니다. M0에서 다음을 잽니다.
- 빠름/권장 모델의 이미지 입력 지원
- Strata의 이미지 입력 지원
- 화질 단계별 실제 시간
못 읽으면 작은 이미지 전용 모델을 하나 더 올리는 예비안을 쓰고, VRAM 배분을 다시 계산합니다. Windows 11에서는 캡처할 때 노란 테두리가 뜨지 않게 설정합니다.
키보드·마우스 제어와 안티치트
- 키보드·마우스는 Windows 입력 API로 넣습니다.
- 자비스가 직접 조작할 때는 허용 범위와 위험 동작 확인을 거칩니다. 파일 삭제, 결제, 전송 등은 음성/GUI로 한 번 더 확인합니다.
- 비상 정지 단축키를 누르면 모든 자동 조작이 즉시 멈춥니다.
안티치트 게임 실행 중에는 제어를 막습니다
발로란트(Vanguard) 같은 커널 안티치트는 프로그램이 넣는 입력을 감지해 계정을 제재할 수 있습니다. 그래서 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 조작 요청을 받아도 아무것도 입력하지 않습니다. 음성, 채팅, GUI 조작 모두 같습니다. 대신 이렇게 안내합니다.
뱅가드가 적용된 게임(VALORANT)이 실행 중이어서 키보드/마우스 제어를 할 수 없습니다.
- 안티치트 이름과 게임 이름은 실제로 감지한 것으로 바뀝니다.
- 음성으로 시켰으면 음성으로, 채팅으로 시켰으면 채팅으로 답하고, GUI에도 표시합니다.
- 게임을 끄면 다시 제어할 수 있습니다.
- 화면 보기는 화면을 읽기만 하므로 그대로 됩니다.
| 안티치트 (기본 목록) | 감지 방법 |
|---|---|
| 뱅가드 (Vanguard) | 뱅가드 드라이버는 PC를 켤 때부터 항상 올라와 있습니다. 그래서 드라이버가 아니라 Riot 게임 프로세스(VALORANT, 리그 오브 레전드)가 실행 중인지로 판단합니다. |
| Easy Anti-Cheat, BattlEye, FACEIT AC, nProtect GameGuard, XIGNCODE3 등 | 게임과 함께 실행되는 안티치트 프로세스·서비스가 떠 있는지로 판단합니다. |
| 목록에 없는 게임 | PC 제어 화면에서 "이 게임은 안티치트 있음"으로 직접 추가합니다. 감지를 끄는 우회 설정은 만들지 않습니다(계정 정지 위험). |
정확한 프로세스 이름 목록은 M0에서 게임PC에 설치된 게임으로 확인하고, 앱 업데이트로 늘려 갑니다.
봇용 크롬창과 디스코드 화면공유
셀프봇 Go Live 송출은 v2에서 뺍니다. 대신 봇이 쓰는 크롬창을 사용자가 디스코드 앱에서 직접 화면공유할 수 있게 합니다.
- GUI 설정 "봇용 크롬창 화면공유 선택 표시":
- 켜짐: 봇용 크롬창이 있는 가상 모니터가 디스코드 "화면 공유 → 화면" 탭에 나타납니다(아래 가상 모니터 방식).
- 꺼짐(기본): 봇용 크롬창은 화면 없이(백그라운드) 돌고, 디스코드 목록에도 나오지 않습니다.
- Alt+Tab, Win+Tab, 작업 표시줄에는 항상 안 보입니다. 켜짐 상태에서도 창을 "도구 창" 속성으로 바꿔 창 전환 목록에서 빼고, 다른 창들 뒤(맨 아래)에 둡니다.
- 크롬은 가려진 창의 그리기를 멈추는 기능이 있습니다. 봇용 크롬은 이 기능을 끄고 실행해서, 다른 창 뒤에 있어도 화면공유 영상이 멈추지 않게 합니다.
먼저 확인할 점: 디스코드가 화면공유 목록을 Alt+Tab과 같은 기준으로 거르면, 도구 창 속성 때문에 목록에서도 빠질 수 있습니다. M0 확인 스크립트에서 가장 먼저 봅니다.
M0 결과: 도구 창으로 바꾸면 디스코드 "창" 목록에서도 빠졌습니다. 그래서 아래 가상 모니터 방식으로 갑니다(사용자 선택: 두 번째 모니터에도 보이지 않게).
가상 모니터 방식: 가상 모니터를 하나 만들고 봇용 크롬을 그 모니터에 둡니다.
- 가상 디스플레이 드라이버는 앱 설치 파일에 들어 있어야 합니다(다른 프로그램 설치를 전제로 하지 않음). 오픈소스 Virtual Display Driver(MIT, SignPath 재단 서명)를 함께 넣고, 앱이 가상 모니터 수를 바꿔 켜고 끕니다(사용자 선택). 설치 때 관리자 권한을 한 번 묻습니다(설치 승인받음). 대상은 x64 Windows 10/11(S 모드 제외)입니다.
- 앱이 꺼질 때는 봇용 크롬을 먼저 닫습니다. 가상 모니터가 먼저 사라지면 그 위의 창이 실제 모니터로 옮겨질 수 있기 때문입니다.
- M0
vdisplay단계(Parsec 드라이버로 하는 개념 확인)는 돌리지 않기로 했습니다(사용자 결정). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치는 M6에서 함께 넣을 드라이버로 직접 확인합니다. 드라이버 설치 시험은 게임PC가 아니라 서버의 Windows 가상머신에서 먼저 합니다. - 마우스가 가상 모니터로 넘어가지 않도록, 실제 모니터와 구석 한 점만 닿게 배치합니다.
- 디스코드에서는 "화면" 탭에서 그 가상 모니터를 고릅니다.
- Alt+Tab에서는 그대로 빠지고, 실제 모니터에도 보이지 않습니다.
다른 사람의 디스코드 화면공유 보기 (창 분리 방식)
쓰지 않는 방법: discord.exe의 앱 데이터에서 로그인 토큰을 꺼내 쓰는 방식은 하지 않습니다.
- 디스코드 약관 위반이라 계정이 정지될 수 있습니다.
- 백신이 토큰 탈취 악성코드로 탐지하는 동작과 같습니다.
- 토큰이 새면 계정 전체가 넘어갑니다.
공식 봇 계정은 원래 화면공유 영상을 받을 수 없습니다.
쓰는 방법: 화면공유 창을 분리(팝아웃)해서 그 창만 캡처합니다.
디스코드 앱에는 시청 중인 화면공유를 별도 창으로 떼어 내는 "팝아웃" 기능이 있습니다. 분리된 창에는 채팅·멤버 목록이 섞이지 않고 공유 화면만 담겨 있습니다. 그래서 그 창만 캡처하면 이미지가 작고 깨끗해서 빠르고 정확합니다. 계정이나 토큰은 건드리지 않습니다.
- "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다.
- 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다. 자비스가 디스코드 앱을 직접 눌러 창을 분리하지는 않습니다. 디스코드 화면 배치가 바뀌면 자동 조작이 깨지기 쉽기 때문입니다.
- 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다.
- 디스코드는 화면공유 분리 창을 하나만 만들 수 있고, 그 창 안에서 어떤 사람의 화면공유를 볼지 고릅니다. 창 제목에는 음성 채널 이름만 들어가서 지금 누구 화면이 나오는지는 제목으로 알 수 없습니다(M0 결과). 그래서 누가 화면공유 중인지는 봇이 음성 채널 상태로 확인합니다.
- 물어본 사람(철수)이 화면공유 중이 아니면 캡처하지 않고 "철수님은 지금 화면공유 중이 아닙니다."라고 답합니다.
- 화면공유 중인 사람이 한 명이고 물어본 사람(철수)과 같으면, 분리 창에 그 사람 화면만 나오므로 바로 캡처해 답합니다.
- 두 명 이상이면 "분리 창에서 철수님 화면을 골라 주세요."라고 말하고, "됐어"라고 확인해 주실 때까지 기다립니다(기본 30초). 확인을 받으면 캡처해 답하고, 시간이 지나면 다른 사람 화면일 수 있으므로 캡처하지 않고 "철수님 화면을 확인하지 못했습니다."라고 답합니다.
- 확인받은 뒤 같은 사람을 이어서 물으면 다시 묻지 않고 바로 답합니다. 다만 그사이 분리 창이 앞에 있는 창이 된 적이 있으면(창 안에서 다른 화면공유를 고르려면 그 창을 눌러야 함) 화면이 바뀌었을 수 있으므로 다시 확인을 받습니다. 앞에 있는 창은 게임 감지에서 이미 지켜보고 있습니다.
- 질문에 이름이 없으면("지금 화면 뭐야?") 분리 창에 나오는 화면을 그대로 봅니다.
M0 결과:
- 분리 창은 새로 생긴 디스코드 창(
Chrome_WidgetWin_1)으로 찾을 수 있었습니다. 창 제목에는 공유자 이름이 없고 음성 채널 이름만 있습니다. 분리 창은 하나뿐이라 찾은 창을 그대로 쓰면 됩니다. - 분리된 창이 다른 창에 완전히 가려져도 영상은 계속 그려졌습니다(캡처 22장 모두 달랐고 검은 화면 없음). 다른 모니터로 옮겨 둘 필요가 없습니다.
최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다.
백그라운드 크로미움으로 정보 수집
- 봇용 크롬(데이터 폴더 안)을 Playwright로 조종합니다. 웹 검색, 페이지 읽기, 예약 수집에 씁니다.
- 기존 webSearch 도구의 보안 장치를 그대로 가져갑니다. 내부망 접근을 막고, 웹 내용은 명령이 아닌 데이터로 다룹니다.
- 예약 수집은 기능 틀(사이트·검색어·RSS를 주기적으로 모으는 기능)만 만들고 수집 대상은 비워 둡니다. 수집 결과는 데이터 폴더에만 저장합니다.