Files
javis_bot/docs/v2/pc-features.md
2026-11-10 13:42:21 +09:00

14 KiB

PC 기능: 게임 모드, 화면 보기, 키보드·마우스, 화면공유

디스코드 봇만으로는 할 수 없고, 게임PC에서 도는 exe라서 가능한 기능입니다.

게임 모드

게임을 켜면 VRAM을 두고 다툽니다. 앱이 게임 실행을 스스로 감지해서, GUI에서 켜 둔 동작만 자동으로 실행합니다.

게임 감지 기준

기준 내용
독점 전체화면 Windows가 알려 주는 "전체화면 D3D 앱 실행 중" 상태로 감지합니다.
테두리 없는 창 모드 (borderless) 앞에 있는 창이 아래 세 조건을 모두 만족하면 게임으로 봅니다. 셋 다 맞아야 하므로 일반 프로그램을 최대화한 것과 구분됩니다. (1) 모니터 한 장을 빈틈없이 덮습니다. (2) 제목 표시줄·테두리가 없습니다. (3) 그 프로세스가 GPU 3D 엔진을 일정 수준 이상 씁니다.
게임 폴더·목록 Steam, Epic, Riot, Battle.net 게임 폴더에서 실행된 프로그램과 GUI에서 직접 등록한 게임은 창 모양과 상관없이 게임으로 봅니다.
게임이 아닌 것 브라우저 전체화면 영상, 동영상 플레이어, 바탕화면, 디스코드, 봇용 크롬은 제외합니다. 잘못 잡히는 프로그램은 "게임 아님" 목록에 넣습니다.

한 번 게임으로 감지되면 게임 프로세스가 끝날 때까지 게임 모드를 유지합니다. Alt+Tab으로 다른 창을 봐도 마찬가지입니다. 게임이 뒤에 있어도 VRAM은 계속 쓰기 때문입니다. 대시보드에는 "게임 모드: 켜짐 (게임 이름, 감지 이유)"를 표시합니다.

게임 모드 동작 (각각 켜기/끄기)

동작 기본값 내용
(a) LLM을 RAM 위주로 켜짐 LLM이 쓰던 VRAM을 줄여 게임에 내줍니다. "게임용으로 비울 VRAM"(기본 8GB)을 GUI에서 정합니다. 답은 조금 느려집니다.
(b) 빠름 모델로 바꾸기 꺼짐 권장 모델을 쓰던 중이면 빠름 모델로 바꿉니다. (a)와 같이 켜면 빠름 모델을 RAM 위주로 올립니다.
(c) 봇 일시정지 꺼짐 게임 중에는 대답하지 않습니다. 켜면 (a)(b)는 의미가 없어서 GUI에서 흐리게 표시합니다.
게임 종료 후 되돌리기 30초 뒤 게임을 껐다 바로 다시 켤 때 모델을 반복해서 옮기지 않도록, 게임이 끝나고 정한 시간 뒤에 원래 상태로 돌립니다.

(a)(b)는 LLM 서버를 다른 배치로 다시 띄우는 것이라 전환하는 몇 초~수십 초 동안은 대답이 늦어집니다. 전환 시간은 M0에서 재고, 전환 중에는 "모델 전환 중"을 대시보드에 표시합니다. 모든 판단은 PC 안에서만 하고 게임 화면은 보지 않습니다.

화면 보기: 전체 화면, 모니터별, 프로그램(창)별

  • Windows Graphics Capture API로 다음을 볼 수 있습니다.
    • 전체 화면: 모니터 여러 대를 한 장으로 이어 붙인 화면
    • 모니터별 화면: 1번, 2번, 3번 모니터를 따로
    • 프로그램(창)별 화면: 켜져 있는 창 하나하나. 다른 창에 가려져 있어도 캡처됩니다.
  • 자비스에게는 "화면 보기" 도구로 연결합니다. "2번 모니터 뭐 떠 있어?", "크롬 창 내용 읽어 줘"처럼 물으면 해당 화면을 캡처해 이미지로 판단합니다.
  • GUI 미리보기에서도 같은 대상을 고를 수 있습니다.
  • 캡처 제외 목록: 은행, 비밀번호 관리자처럼 봇이 보면 안 되는 프로그램을 지정합니다. 그 창은 캡처하지 않고, 전체 화면 캡처에서도 가립니다.
  • 안 보이는 경우: 최소화된 창, 저작권 보호 영상(넷플릭스 등), 일부 게임의 독점 전체화면은 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다. 캡처가 실패하면 자비스가 "그 화면은 볼 수 없다"고 그대로 말합니다.

화면 질문을 빠르게

"2번 화면에 뭐 떠 있어?"에서 시간이 드는 곳은 세 군데입니다. 셋 다 줄입니다.

  1. 화면 캡처
  2. 이미지 줄이기·변환
  3. LLM이 이미지를 읽는 시간
방법 내용
캡처 미리 준비 캡처 세션은 새로 열 때 시간이 걸립니다. 그래서 누군가 말을 시작하면(음성 감지 시점) 모니터별 캡처 세션을 미리 열어 두고, 각 모니터의 가장 최근 한 장만 GPU 메모리에 들고 있습니다. 질문이 끝났을 때는 이미 있는 한 장을 꺼내기만 하면 됩니다. 말이 끝나고 일정 시간 질문이 없으면 세션을 닫습니다. 설정: 말하는 중에만(기본) / 항상 / 끔. 미리 잡아 둔 화면은 메모리에만 있고 저장하거나 밖으로 보내지 않으며, 계속 새 화면으로 덮어씁니다.
GPU에서 바로 줄이기 4K 원본을 CPU로 옮기지 않고 GPU에서 모델이 읽기 좋은 크기로 줄인 뒤 JPEG로 만듭니다. 캡처 제외 프로그램 가리기도 이 단계에서 같이 합니다.
화질 단계 빠름(긴 변 약 768px) / 보통(약 1280px, 기본) / 자세히(원본을 나눠서 여러 장). 이미지가 작을수록 LLM이 읽는 양이 줄어 빨라집니다. "글자 읽어 줘"처럼 세밀한 질문이면 AI가 스스로 "자세히"를 고릅니다.
도구 호출 한 번으로 AI가 "화면 보기" 도구를 부르면 캡처 이미지를 바로 같은 대화에 붙여 이어서 답합니다. LLM 엔진이 지원하면 고정된 앞부분(시스템 프롬프트 등)은 다시 계산하지 않게 캐시합니다.
창 단위로 좁히기 "크롬 창"처럼 창을 말하면 모니터 전체가 아니라 그 창만 캡처합니다.
답도 문장 단위로 이미지를 읽은 뒤 답의 첫 문장이 나오면 바로 읽기 시작합니다.
단계 (질문이 끝난 뒤) 목표
최근 화면 꺼내기 + 줄이기·JPEG 50ms 이내
AI가 "화면 보기" 도구 고르기 100~250ms
LLM이 이미지 읽기 (보통 화질) 300~800ms
첫 문장 + TTS 일반 질문과 같음
합계 일반 질문보다 0.51초 더, 약 1.52.5초

확인이 필요한 점: 이미지를 읽으려면 LLM이 이미지 입력을 지원해야 합니다. M0에서 다음을 잽니다.

  • 빠름/권장 모델의 이미지 입력 지원
  • Strata의 이미지 입력 지원
  • 화질 단계별 실제 시간

못 읽으면 작은 이미지 전용 모델을 하나 더 올리는 예비안을 쓰고, VRAM 배분을 다시 계산합니다. Windows 11에서는 캡처할 때 노란 테두리가 뜨지 않게 설정합니다.

키보드·마우스 제어와 안티치트

  • 키보드·마우스는 Windows 입력 API로 넣습니다.
  • 자비스가 직접 조작할 때는 허용 범위와 위험 동작 확인을 거칩니다. 파일 삭제, 결제, 전송 등은 음성/GUI로 한 번 더 확인합니다.
  • 비상 정지 단축키를 누르면 모든 자동 조작이 즉시 멈춥니다.

안티치트 게임 실행 중에는 제어를 막습니다

발로란트(Vanguard) 같은 커널 안티치트는 프로그램이 넣는 입력을 감지해 계정을 제재할 수 있습니다. 그래서 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 조작 요청을 받아도 아무것도 입력하지 않습니다. 음성, 채팅, GUI 조작 모두 같습니다. 대신 이렇게 안내합니다.

뱅가드가 적용된 게임(VALORANT)이 실행 중이어서 키보드/마우스 제어를 할 수 없습니다.

  • 안티치트 이름과 게임 이름은 실제로 감지한 것으로 바뀝니다.
  • 음성으로 시켰으면 음성으로, 채팅으로 시켰으면 채팅으로 답하고, GUI에도 표시합니다.
  • 게임을 끄면 다시 제어할 수 있습니다.
  • 화면 보기는 화면을 읽기만 하므로 그대로 됩니다.
안티치트 (기본 목록) 감지 방법
뱅가드 (Vanguard) 뱅가드 드라이버는 PC를 켤 때부터 항상 올라와 있습니다. 그래서 드라이버가 아니라 Riot 게임 프로세스(VALORANT, 리그 오브 레전드)가 실행 중인지로 판단합니다.
Easy Anti-Cheat, BattlEye, FACEIT AC, nProtect GameGuard, XIGNCODE3 등 게임과 함께 실행되는 안티치트 프로세스·서비스가 떠 있는지로 판단합니다.
목록에 없는 게임 PC 제어 화면에서 "이 게임은 안티치트 있음"으로 직접 추가합니다. 감지를 끄는 우회 설정은 만들지 않습니다(계정 정지 위험).

정확한 프로세스 이름 목록은 M0에서 게임PC에 설치된 게임으로 확인하고, 앱 업데이트로 늘려 갑니다.

봇용 크롬창과 디스코드 화면공유

셀프봇 Go Live 송출은 v2에서 뺍니다. 대신 봇이 쓰는 크롬창을 사용자가 디스코드 앱에서 직접 화면공유할 수 있게 합니다.

  • GUI 설정 "봇용 크롬창 화면공유 선택 표시":
    • 켜짐: 봇용 크롬창이 있는 가상 모니터가 디스코드 "화면 공유 → 화면" 탭에 나타납니다(아래 가상 모니터 방식).
    • 꺼짐(기본): 봇용 크롬창은 화면 없이(백그라운드) 돌고, 디스코드 목록에도 나오지 않습니다.
  • Alt+Tab, Win+Tab, 작업 표시줄에는 항상 안 보입니다. 켜짐 상태에서도 창을 "도구 창" 속성으로 바꿔 창 전환 목록에서 빼고, 다른 창들 뒤(맨 아래)에 둡니다.
  • 크롬은 가려진 창의 그리기를 멈추는 기능이 있습니다. 봇용 크롬은 이 기능을 끄고 실행해서, 다른 창 뒤에 있어도 화면공유 영상이 멈추지 않게 합니다.

먼저 확인할 점: 디스코드가 화면공유 목록을 Alt+Tab과 같은 기준으로 거르면, 도구 창 속성 때문에 목록에서도 빠질 수 있습니다. M0 확인 스크립트에서 가장 먼저 봅니다.

M0 결과: 도구 창으로 바꾸면 디스코드 "창" 목록에서도 빠졌습니다. 그래서 아래 가상 모니터 방식으로 갑니다(사용자 선택: 두 번째 모니터에도 보이지 않게).

가상 모니터 방식: 가상 모니터를 하나 만들고 봇용 크롬을 그 모니터에 둡니다.

  • 가상 디스플레이 드라이버는 앱 설치 파일에 들어 있어야 합니다(다른 프로그램 설치를 전제로 하지 않음). 오픈소스 Virtual Display Driver(MIT, SignPath 재단 서명)를 함께 넣고, 앱이 가상 모니터 수를 바꿔 켜고 끕니다(사용자 선택). 설치 때 관리자 권한을 한 번 묻습니다(설치 승인받음). 대상은 x64 Windows 10/11(S 모드 제외)입니다.
  • 앱이 꺼질 때는 봇용 크롬을 먼저 닫습니다. 가상 모니터가 먼저 사라지면 그 위의 창이 실제 모니터로 옮겨질 수 있기 때문입니다.
  • M0 vdisplay 단계(Parsec 드라이버로 하는 개념 확인)는 돌리지 않기로 했습니다(사용자 결정). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치는 M6에서 함께 넣을 드라이버로 직접 확인합니다. 드라이버 설치 시험은 게임PC가 아니라 서버의 Windows 가상머신에서 먼저 합니다.
  • 마우스가 가상 모니터로 넘어가지 않도록, 실제 모니터와 구석 한 점만 닿게 배치합니다.
  • 디스코드에서는 "화면" 탭에서 그 가상 모니터를 고릅니다.
  • Alt+Tab에서는 그대로 빠지고, 실제 모니터에도 보이지 않습니다.

다른 사람의 디스코드 화면공유 보기 (창 분리 방식)

쓰지 않는 방법: discord.exe의 앱 데이터에서 로그인 토큰을 꺼내 쓰는 방식은 하지 않습니다.

  • 디스코드 약관 위반이라 계정이 정지될 수 있습니다.
  • 백신이 토큰 탈취 악성코드로 탐지하는 동작과 같습니다.
  • 토큰이 새면 계정 전체가 넘어갑니다.

공식 봇 계정은 원래 화면공유 영상을 받을 수 없습니다.

쓰는 방법: 화면공유 창을 분리(팝아웃)해서 그 창만 캡처합니다.

디스코드 앱에는 시청 중인 화면공유를 별도 창으로 떼어 내는 "팝아웃" 기능이 있습니다. 분리된 창에는 채팅·멤버 목록이 섞이지 않고 공유 화면만 담겨 있습니다. 그래서 그 창만 캡처하면 이미지가 작고 깨끗해서 빠르고 정확합니다. 계정이나 토큰은 건드리지 않습니다.

  1. "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다.
  2. 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다. 자비스가 디스코드 앱을 직접 눌러 창을 분리하지는 않습니다. 디스코드 화면 배치가 바뀌면 자동 조작이 깨지기 쉽기 때문입니다.
  3. 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다.
  4. 분리된 창이 여러 개면 창 제목(공유한 사람 이름)으로 고릅니다. 이름으로 구분이 안 되면 누구 화면인지 되묻습니다.

M0에서 확인할 점:

  1. 분리된 화면공유 창을 프로그램에서 정확히 알아보는 방법. 창 제목에 공유자 이름이 들어가는지 봅니다.
  2. 분리된 창이 다른 창에 완전히 가려지면 디스코드가 영상 그리기를 멈추는지. 멈춘다면 분리된 창을 보조 모니터나 가상 모니터로 옮겨 둡니다.

최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다.

백그라운드 크로미움으로 정보 수집

  • 봇용 크롬(데이터 폴더 안)을 Playwright로 조종합니다. 웹 검색, 페이지 읽기, 예약 수집에 씁니다.
  • 기존 webSearch 도구의 보안 장치를 그대로 가져갑니다. 내부망 접근을 막고, 웹 내용은 명령이 아닌 데이터로 다룹니다.
  • 예약 수집은 기능 틀(사이트·검색어·RSS를 주기적으로 모으는 기능)만 만들고 수집 대상은 비워 둡니다. 수집 결과는 데이터 폴더에만 저장합니다.