The user meant the chat channel's "answer every message", not the voice policy "in order": the LLM takes two or more requests at once only while a chat channel answers every message, otherwise one whatever the voice policy. The roadmap and the open measurements point at the new gamemode_stt and gamemode_live stages, which also decide whether the STT moves to the CPU during a game. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
27 KiB
PC 기능: 게임 모드, 화면 보기, 키보드·마우스, 화면공유
디스코드 봇만으로는 할 수 없고, 게임PC에서 도는 exe라서 가능한 기능입니다.
게임 모드
게임을 켜면 VRAM을 두고 다툽니다. 앱이 게임 실행을 스스로 감지해서 자동 성능 조절의 "게임 중" 단계로 바꿉니다.
게임 감지 기준
| 기준 | 내용 |
|---|---|
| 독점 전체화면 | Windows가 알려 주는 "전체화면 D3D 앱 실행 중" 상태로 감지합니다. |
| 테두리 없는 창 모드 (borderless) | 앞에 있는 창이 아래 세 조건을 모두 만족하면 게임으로 봅니다. 셋 다 맞아야 하므로 일반 프로그램을 최대화한 것과 구분됩니다. (1) 모니터 한 장을 빈틈없이 덮습니다. (2) 제목 표시줄·테두리가 없습니다. (3) 그 프로세스가 GPU 3D 엔진을 일정 수준 이상 씁니다. |
| 게임 폴더·목록 | Steam, Epic, Riot, Battle.net 게임 폴더에서 실행된 프로그램과 GUI에서 직접 등록한 게임은 창 모양과 상관없이 게임으로 봅니다. |
| 게임이 아닌 것 | 브라우저 전체화면 영상, 동영상 플레이어, 바탕화면, 디스코드, 봇용 크롬은 제외합니다. 잘못 잡히는 프로그램은 "게임 아님" 목록에 넣습니다. |
한 번 게임으로 감지되면 게임 프로세스가 끝날 때까지 게임 모드를 유지합니다. Alt+Tab으로 다른 창을 봐도 마찬가지입니다. 게임이 뒤에 있어도 VRAM은 계속 쓰기 때문입니다. 대시보드에는 "게임 모드: 켜짐 (게임 이름, 감지 이유)"를 표시합니다.
자동 성능 조절
모델은 Qwen3.6-35B-A3B(UD-Q4_K_XL) 하나만 씁니다(decisions.md). 게임을 켜거나 PC가 바쁠 때 모델을 바꾸지 않고, 같은 모델을 VRAM·CPU를 덜 쓰는 배치로 옮기고 부가 설정을 낮춥니다. 앱이 스스로 판단하므로 사용자가 고를 것은 없습니다. 모든 판단은 PC 안에서만 하고 게임 화면은 보지 않습니다.
단계
| 단계 | 언제 | LLM 배치 (다시 시작 필요) | 다시 시작 없이 바꾸는 것 |
|---|---|---|---|
| 평소 | 게임이 없고 VRAM이 넉넉함 | 전문가 층을 VRAM에 들어가는 만큼 올림(Strata 자동 배치), 이미지는 GPU로 읽기. 동시 요청 수는 채팅 채널 설정을 따름: "모든 메시지에 대답" 채널이 하나라도 있으면 2개 이상(이 카드에 맞는 수, 최소 2개), 없으면 1개(하나씩 보면 더 빠름) | 화면 캡처 미리 준비(말하는 중), 화질 보통, 지난 대화 약 8천 토큰 |
| 게임 중 | 게임을 감지했거나, 다른 프로그램이 VRAM을 써서 남은 VRAM이 "게임용으로 비울 VRAM"보다 적음 | 전문가 층의 VRAM 몫(--expert-vram)을 줄여 "게임용으로 비울 VRAM"(기본 8GB)을 비움. 나머지 전문가 층은 RAM에서 CPU로 계산. 동시 요청 1개(채팅 채널 설정과 상관없이), 이미지는 CPU로 읽기, 엔진 CPU 작업자는 절반(16코어 PC에서 8개), 맥락 16K. 대화 메모리 형식(--kv)과 MTP 끄기는 이 엔진에서 VRAM을 줄이지 않아 쓰지 않음(아래 측정 결과) |
캡처 미리 준비 끔, 화질 빠름(긴 변 768px), 지난 대화 약 4천 토큰 |
| 일시정지 | 사용자가 켠 경우(기본 꺼짐), 또는 이 PC에서 최소 배치로도 게임 몫을 비울 수 없을 때 | LLM을 멈춤 | 게임 중에는 대답하지 않음 |
PC마다 값을 계산
- 배치는 계산해서 정함: 전문가 층 VRAM 몫 = 그래픽카드 VRAM − 게임용으로 비울 VRAM − 다른 프로그램이 이미 쓰는 VRAM − STT 몫(약 2.7GB: 모델 1.3GB와 10명 동시 전사 때 늘어나는 1.44GB, M0
stt실측) − 엔진 기본 버퍼. 정해 둔 숫자가 아니라 이 식으로 구하므로 VRAM이 작은 PC에도 같은 규칙이 맞습니다. - 몫이 최소 배치보다 작을 때: 계산한 몫이 엔진이 시작할 수 있는 가장 작은 배치(M0
gamemode에서 시작에 성공한 가장 작은 값)보다 작으면, 몫을 늘려 게임 몫을 침범하지 않습니다. 대신 게임용으로 비울 VRAM을 "그래픽카드 VRAM − 다른 프로그램 − STT 몫 − 엔진 기본 버퍼 − 최소 배치"까지 줄이고, 대시보드와 게임 모드 설정 화면에 "이 PC에서는 게임에 X GB까지만 비울 수 있음"을 표시합니다. 이렇게 줄인 값이 0 이하이면(예: 8GB 그래픽카드에서 다른 프로그램이 이미 많이 씀) 게임 중에는 LLM을 멈추고 일시정지 단계로 갑니다. 게임 중 일시정지를 꺼 두었어도 마찬가지이고, 그 이유를 대시보드에 표시합니다. 게임이 끝나면 되돌리기 규칙대로 돌아옵니다. - 첫 실행 자가 점검: 설치가 끝나면 평소·게임 중 배치로 각각 30초씩 출력 속도와 음성 첫 문장 시간을 잽니다. 평소 배치가 기준(출력 30 tok/s, 음성 첫 문장 0.7초)에 못 미치는 PC는 평소에도 동시 요청 1개, 이미지 CPU 읽기, 지난 대화 약 4천 토큰으로 시작합니다. 게임 중 배치가 기준에 못 미치면 대시보드와 설정 화면에 "게임 중에는 답이 느릴 수 있음"을 표시합니다.
- 실행 중 감시: 대시보드가 이미 재는 단계별 지연을 씁니다. 음성 첫 문장이 최근 5번 중 3번 이상 0.7초를 넘으면 다시 시작 없이 바꿀 수 있는 것부터 낮춥니다: 지난 대화 양 → 화질 → 캡처 미리 준비. 10분 동안 기준 안에 들면 하나씩 되돌립니다. 다시 시작이 필요한 배치 변경은 게임 감지와 VRAM 부족 때만 합니다.
전환 규칙
- 게임 시작: 지금 하던 답이 끝나면 바로 게임 중 배치로 다시 시작합니다. 다시 시작하는 동안(게임PC 측정 31~36초, 컴퓨터를 켠 뒤 첫 시작은 47초) 들어온 요청은 대기열에 두고, 한 번만 "잠깐만요, 게임 모드로 바꾸는 중이에요"라고 말한 뒤 준비되면 답합니다.
- 채팅 채널 설정을 바꿀 때: 동시 요청 수가 바뀌는 변경(첫 "모든 메시지에 대답" 채널을 켜거나 마지막 하나를 끔)은 LLM을 다시 시작해야 합니다. 게임 시작과 같이 지금 하던 답이 끝난 뒤 다시 시작하고, 그동안 들어온 요청은 대기열에 둡니다. 게임 중에는 다시 시작하지 않고 게임이 끝나 평소 배치로 돌아갈 때 함께 반영합니다.
- 되돌리기: 게임이 끝나고 30초 뒤(설정에서 조절), VRAM 부족은 해소된 상태가 60초 이어진 뒤 평소 배치로 돌아갑니다. 게임을 껐다 바로 다시 켤 때 모델을 반복해서 옮기지 않기 위해서입니다.
- 표시: 대시보드에 "성능 단계: 게임 중 (발로란트 감지)", 전환 중에는 "모델 배치 바꾸는 중"을 표시합니다.
- 설정: GUI에서 바꾸는 것은 게임 감지 켜기/끄기, 게임용으로 비울 VRAM, 되돌리기 대기 시간, 게임 중 일시정지 켜기/끄기뿐입니다.
- 엔진이 실행 중 VRAM 줄이기를 지원하면: Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기(
POST /v1/vram)를 지원하지 않아 다시 시작합니다. 지원하는 버전이 나오면 다시 시작 없이 바로 줄이는 방식으로 바꾸고 다시 잽니다.
측정 결과 (M0 gamemode, 2026-11-10, RTX 5070 Ti 16GB, Ryzen 9 9950X3D)
첫 번째 실행:
| 배치 | 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 모델 VRAM | 게임에 남는 VRAM |
|---|---|---|---|---|---|
| 평소(동시 2개, 이미지 GPU) | 69.6 / 다시 켠 뒤 75.8 | 0.52초 / 0.47초 | 1.1초 | 13.6GB | 1.1GB |
| 전문가 6GB | 97.1 | 0.39초 | 1.4초 | 14.3GB | 0.4GB |
| 전문가 4GB | 90.0 | 0.40초 | 1.1초 | 12.8GB | 2.3GB |
| 전문가 2GB | 73.8 | 0.48초 | 1.1초 | 10.8GB | 4.3GB |
| 전문가 2GB, CPU 작업자 8개 | 75.8 | 0.51초 | 1.1초 | 10.8GB | 4.3GB |
두 번째 실행(게임 중 후보는 모두 동시 1개, 이미지 CPU, CPU 작업자 8개). 배치 전환은 28~36초:
| 배치 | 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 모델 VRAM | 게임에 남는 VRAM |
|---|---|---|---|---|---|
| 평소(동시 2개, 이미지 GPU) | 74.7 / 되돌린 뒤 72.2 | 0.48초 / 0.50초 | 1.1초 | 13.7GB | 1.3GB |
| 전문가 2GB, 맥락 32K | 74.9 | 0.51초 | 1.1초 | 10.8GB | 4.3GB |
전문가 1GB, 맥락 16K (--kv q4_0) |
48.2 | 0.64초 | 1.2초 | 9.2GB | 5.9GB |
위와 같고 --mtp off |
48.4 | 0.65초 | 1.1초 | 9.1GB | 5.9GB |
전문가 0GB, 맥락 16K, --mtp off |
48.1 | 0.65초 | 1.1초 | 9.1GB | 5.9GB |
전문가 0GB, 맥락 8K, --mtp off |
48.5 | 0.64초 | 1.1초 | 8.7GB | 6.3GB |
모델 VRAM은 엔진을 켜기 전에 다른 프로그램이 쓰던 VRAM(약 1.3GB)을 뺀 값입니다. STT는 켜지 않고 쟀습니다.
- 16GB 카드에서는 게임에 8GB를 비울 수 없습니다. 가장 많이 비운 배치(전문가 0GB, 맥락 8K)도 모델이 8.7GB를 쓰고, 다른 프로그램이 1.3GB를 써서 게임 몫은 6.3GB였습니다. 늘 카드에 남는 것은 가중치 4.4GiB, 긴 프롬프트용 버퍼 1.1GiB, 맥락 길이만큼의 대화 메모리, 그 밖의 버퍼입니다.
--kv와--mtp off는 VRAM을 줄이지 않습니다. Strata 0.1.59 qwen36 엔진 소스(src/qwen35/q36_engine.cu)를 보면, 이 엔진은--kv를 받지 않고 대화 메모리를 맥락 길이만큼 정해진 형식으로 잡습니다. MTP 블록도--mtp off와 상관없이 늘 올리고, 끄면 미리 맞히기만 멈춥니다(Strata 도움말의 "약 1GB 덜 씀"은 이 엔진에 맞지 않음). 측정값도 같습니다.- 전문가 몫에는 긴 프롬프트용 버퍼 1.1GiB가 먼저 들어갑니다. 그래서 1GB로 주면 전문가가 하나도 올라가지 않아 0GB와 같고, 2GB에서 층마다 256개 중 12개(0.88GiB)가 올라갑니다. 이 12개가 속도를 크게 바꿉니다: 출력 75 대 48 tok/s, 음성 첫 문장 0.51 대 0.64초. 둘 다 기준(30 tok/s, 0.7초) 안이지만, 0GB는 기준에 가깝습니다.
- 맥락을 줄이면 32K→16K에서 약 0.7GB, 16K→8K에서 약 0.4GB가 줄고 속도는 같습니다. 게임 중 맥락은 16K로 둡니다. 지난 대화 약 4천 토큰에 지시문, 도구 설명, 화면 이미지, 검색 결과가 더해지면 8K는 넘칠 수 있어서, 0.4GB를 위해 8K를 쓰지 않습니다.
- 이 PC의 게임 중 배치: 기본값 8GB는 비울 수 없으므로 몫이 최소 배치보다 작을 때 규칙대로 최소 배치(전문가 0GB, 맥락 16K)로 갑니다. 게임 몫은 LLM만 놓고 5.9GB입니다. STT는 모델만 1.3GB이고 10명 동시 전사 때 1.44GB가 더 늘어나므로(M0
stt실측, 최대 약 2.7GB), 게임 몫은 약 3.1GB입니다. 그래서 "이 PC에서는 게임에 약 3.1GB까지만 비울 수 있음"을 표시합니다. 게임용으로 비울 VRAM을 약 2.2GB 이하로 정하면 같은 식으로 전문가 2GB 배치가 되어 출력이 약 75 tok/s로 돌아옵니다. 3.1GB와 2.2GB는 LLM과 STT를 따로 잰 값을 더한 추정입니다. 둘을 함께 켜고 10명 동시 전사를 돌린 측정은 아직 없습니다. - CPU 작업자를 16개에서 8개로 줄여도 출력 속도가 줄지 않았습니다(73.8 대 75.8 tok/s). 게임 중에는 8개로 둡니다.
- 아직 재지 않은 것: 게임이 GPU를 함께 쓸 때의 속도, 전문가 2GB에 맥락 16K인 배치(추정 게임 몫 LLM만 놓고 약 5.0GB, STT 최대치까지 빼면 약 2.2GB), LLM과 STT(10명 동시 전사)를 함께 켰을 때의 VRAM, 게임 중 STT를 CPU로 옮겼을 때의 전사 시간. M0 키트에 세 단계로 넣었습니다:
gamemode(전문가 2GB 맥락 16K 배치 추가),gamemode_stt(STT를 먼저 켜고 10명 동시 전사를 돌리면서 LLM을 잼, 게임 중 배치는 STT GPU와 CPU 둘 다),gamemode_live(실제 게임을 켠 채로 게임 중 배치 4개). 게임 중 STT를 CPU로 옮길지는gamemode_stt와gamemode_live에서 CPU 전사 시간(10명 동시, 한 사람)과 LLM 속도가 함께 버티는지 보고 정합니다. 옮기면 게임 몫이 약 2.7GB 늘어납니다. - 평소 동시 요청 수: 동시 2개는 Strata가 "16GB 카드에는 1개가 맞음"이라고 경고하고, 전문가 층을 덜 올려서 동시 1개 배치(전문가 6GB)보다 출력이 느렸습니다(69.6~74.7 대 97.1 tok/s). 그래서 평소에는 1개로 두고, 채팅 채널 중 하나라도 "모든 메시지에 대답"일 때만 2개 이상으로 합니다(사용자 결정, 2026-11-10).
화면 보기: 전체 화면, 모니터별, 프로그램(창)별
- Windows Graphics Capture API로 다음을 볼 수 있습니다.
- 전체 화면: 모니터 여러 대를 한 장으로 이어 붙인 화면
- 모니터별 화면: 1번, 2번, 3번 모니터를 따로
- 프로그램(창)별 화면: 켜져 있는 창 하나하나. 다른 창에 가려져 있어도 캡처됩니다.
- 자비스에게는 "화면 보기" 도구로 연결합니다. "2번 모니터 뭐 떠 있어?", "크롬 창 내용 읽어 줘"처럼 물으면 해당 화면을 캡처해 이미지로 판단합니다.
- GUI 미리보기에서도 같은 대상을 고를 수 있습니다.
- 캡처 제외 목록: 은행, 비밀번호 관리자처럼 봇이 보면 안 되는 프로그램을 지정합니다. 그 창은 캡처하지 않고, 전체 화면 캡처에서도 가립니다.
- 안 보이는 경우: 최소화된 창, 저작권 보호 영상(넷플릭스 등), 일부 게임의 독점 전체화면은 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다. 캡처가 실패하면 자비스가 "그 화면은 볼 수 없다"고 그대로 말합니다.
화면 질문을 빠르게
"2번 화면에 뭐 떠 있어?"에서 시간이 드는 곳은 세 군데입니다. 셋 다 줄입니다.
- 화면 캡처
- 이미지 줄이기·변환
- LLM이 이미지를 읽는 시간
| 방법 | 내용 |
|---|---|
| 캡처 미리 준비 | 캡처 세션은 새로 열 때 시간이 걸립니다. 그래서 누군가 말을 시작하면(음성 감지 시점) 모니터별 캡처 세션을 미리 열어 두고, 각 모니터의 가장 최근 한 장만 GPU 메모리에 들고 있습니다. 질문이 끝났을 때는 이미 있는 한 장을 꺼내기만 하면 됩니다. 말이 끝나고 일정 시간 질문이 없으면 세션을 닫습니다. 설정: 말하는 중에만(기본) / 항상 / 끔. 미리 잡아 둔 화면은 메모리에만 있고 저장하거나 밖으로 보내지 않으며, 계속 새 화면으로 덮어씁니다. |
| GPU에서 바로 줄이기 | 4K 원본을 CPU로 옮기지 않고 GPU에서 모델이 읽기 좋은 크기로 줄인 뒤 JPEG로 만듭니다. 캡처 제외 프로그램 가리기도 이 단계에서 같이 합니다. |
| 화질 단계 | 빠름(긴 변 약 768px) / 보통(약 1280px, 기본) / 자세히(원본을 나눠서 여러 장). 이미지가 작을수록 LLM이 읽는 양이 줄어 빨라집니다. "글자 읽어 줘"처럼 세밀한 질문이면 AI가 스스로 "자세히"를 고릅니다. |
| 도구 호출 한 번으로 | AI가 "화면 보기" 도구를 부르면 캡처 이미지를 바로 같은 대화에 붙여 이어서 답합니다. LLM 엔진이 지원하면 고정된 앞부분(시스템 프롬프트 등)은 다시 계산하지 않게 캐시합니다. |
| 창 단위로 좁히기 | "크롬 창"처럼 창을 말하면 모니터 전체가 아니라 그 창만 캡처합니다. |
| 답도 문장 단위로 | 이미지를 읽은 뒤 답의 첫 문장이 나오면 바로 읽기 시작합니다. |
| 단계 (질문이 끝난 뒤) | 목표 |
|---|---|
| 최근 화면 꺼내기 + 줄이기·JPEG | 50ms 이내 |
| AI가 "화면 보기" 도구 고르기 | 100~250ms |
| LLM이 이미지 읽기 (보통 화질) | 300~800ms |
| 첫 문장 + TTS | 일반 질문과 같음 |
| 합계 | 일반 질문보다 0.5 |
확인이 필요한 점: 이미지를 읽으려면 LLM이 이미지 입력을 지원해야 합니다. M0에서 다음을 잽니다.
- 모델의 이미지 입력 지원
- Strata의 이미지 입력 지원
- 화질 단계별 실제 시간
못 읽으면 작은 이미지 전용 모델을 하나 더 올리는 예비안을 쓰고, VRAM 배분을 다시 계산합니다. Windows 11에서는 캡처할 때 노란 테두리가 뜨지 않게 설정합니다.
키보드·마우스 제어와 안티치트
- 프로그램 조작은 agent-desktop(Apache-2.0, Windows UI Automation)으로 합니다. 앱 설치 파일에 실행 파일(약 4MB)을 함께 넣습니다.
- 창의 버튼·입력칸·메뉴 목록을 글자로 읽고, 고른 항목을 직접 누르거나 값을 넣습니다. 화면 좌표를 쓰지 않으므로 해상도·배율·창 위치가 바뀌어도 맞게 누릅니다.
- 기본은 마우스 커서를 움직이지 않고 포커스도 가져오지 않습니다. 사용자가 다른 창에서 작업하는 중에도 뒤에 있는 창을 조작할 수 있습니다. 최소화된 창은 조작하지 못하므로 먼저 되돌립니다.
- 누르거나 넣은 뒤 화면을 다시 읽어 결과를 확인하고, 확인된 것만 "했습니다"라고 말합니다.
- Alt+F4, Win+R, Ctrl+Shift+Esc 같은 위험 단축키는 agent-desktop이 기본으로 막습니다. 이 막음을 푸는 옵션(
--force)은 쓰지 않습니다. - 관리자 권한으로 실행된 창은 Windows가 막아서 조작하지 못합니다. 그때는 못 한다고 답합니다.
- 접근성 정보가 없는 화면(게임, 그림으로만 그린 화면)에만 Windows 입력 API로 실제 키보드·마우스를 넣습니다. 이때는 커서와 포커스가 움직입니다.
- 두뇌에는 도구 하나(창 목록, 실행, 화면 항목 읽기, 누르기, 값 넣기, 키 누르기, 닫기)로만 보여 줍니다. agent-desktop의 MCP 서버를 그대로 붙이면 도구가 67개라 작은 모델이 고르기 어렵기 때문입니다. 실제 호출과 허용 범위·안티치트·비상 정지 검사는 PC 제어 모듈이 합니다.
- PC 제어 모듈이 agent-desktop을 계속 켜 두고 쓸지(MCP 서버), 매번 실행할지는 M0
desktop단계에서 잰 속도로 정합니다. - 읽은 화면 글자는 PC 안의 LLM에만 들어가고 로그와 결과 파일에는 남기지 않습니다. 로그에는 동작 이름과 결과 코드만 적습니다.
- 자비스가 직접 조작할 때는 허용 범위와 위험 동작 확인을 거칩니다. 파일 삭제, 결제, 전송 등은 음성/GUI로 한 번 더 확인합니다.
- 비상 정지 단축키를 누르면 모든 자동 조작이 즉시 멈춥니다.
안티치트 게임 실행 중에는 제어를 막습니다
발로란트(Vanguard) 같은 커널 안티치트는 프로그램이 넣는 입력을 감지해 계정을 제재할 수 있습니다. 그래서 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 조작 요청을 받아도 아무것도 입력하지 않습니다. 음성, 채팅, GUI 조작 모두 같습니다. 대신 이렇게 안내합니다.
뱅가드가 적용된 게임(VALORANT)이 실행 중이어서 키보드/마우스 제어를 할 수 없습니다.
- 안티치트 이름과 게임 이름은 실제로 감지한 것으로 바뀝니다.
- 음성으로 시켰으면 음성으로, 채팅으로 시켰으면 채팅으로 답하고, GUI에도 표시합니다.
- 게임을 끄면 다시 제어할 수 있습니다.
- 화면 보기는 화면을 읽기만 하므로 그대로 됩니다.
| 안티치트 (기본 목록) | 감지 방법 |
|---|---|
| 뱅가드 (Vanguard) | 뱅가드 드라이버는 PC를 켤 때부터 항상 올라와 있습니다. 그래서 드라이버가 아니라 Riot 게임 프로세스(VALORANT, 리그 오브 레전드)가 실행 중인지로 판단합니다. |
| Easy Anti-Cheat, BattlEye, FACEIT AC, nProtect GameGuard, XIGNCODE3 등 | 게임과 함께 실행되는 안티치트 프로세스·서비스가 떠 있는지로 판단합니다. |
| 목록에 없는 게임 | PC 제어 화면에서 "이 게임은 안티치트 있음"으로 직접 추가합니다. 감지를 끄는 우회 설정은 만들지 않습니다(계정 정지 위험). |
정확한 프로세스 이름 목록은 M0에서 게임PC에 설치된 게임으로 확인하고, 앱 업데이트로 늘려 갑니다.
봇용 크롬창과 디스코드 화면공유
셀프봇 Go Live 송출은 v2에서 뺍니다. 대신 봇이 쓰는 크롬창을 사용자가 디스코드 앱에서 직접 화면공유할 수 있게 합니다.
- GUI 설정 "봇용 크롬창 화면공유 선택 표시":
- 켜짐: 봇용 크롬창이 있는 가상 모니터가 디스코드 "화면 공유 → 화면" 탭에 나타납니다(아래 가상 모니터 방식).
- 꺼짐(기본): 봇용 크롬창은 화면 없이(백그라운드) 돌고, 디스코드 목록에도 나오지 않습니다.
- Alt+Tab, Win+Tab, 작업 표시줄에는 항상 안 보입니다. 켜짐 상태에서도 창을 "도구 창" 속성으로 바꿔 창 전환 목록에서 빼고, 다른 창들 뒤(맨 아래)에 둡니다.
- 크롬은 가려진 창의 그리기를 멈추는 기능이 있습니다. 봇용 크롬은 이 기능을 끄고 실행해서, 다른 창 뒤에 있어도 화면공유 영상이 멈추지 않게 합니다.
먼저 확인할 점: 디스코드가 화면공유 목록을 Alt+Tab과 같은 기준으로 거르면, 도구 창 속성 때문에 목록에서도 빠질 수 있습니다. M0 확인 스크립트에서 가장 먼저 봅니다.
M0 결과: 도구 창으로 바꾸면 디스코드 "창" 목록에서도 빠졌습니다. 그래서 아래 가상 모니터 방식으로 갑니다(사용자 선택: 두 번째 모니터에도 보이지 않게).
가상 모니터 방식: 가상 모니터를 하나 만들고 봇용 크롬을 그 모니터에 둡니다.
- 가상 디스플레이 드라이버는 앱 설치 파일에 들어 있어야 합니다(다른 프로그램 설치를 전제로 하지 않음). 오픈소스 Virtual Display Driver(MIT, SignPath 재단 서명)를 함께 넣고, 앱이 가상 모니터 수를 바꿔 켜고 끕니다(사용자 선택). 설치 때 관리자 권한을 한 번 묻습니다(설치 승인받음). 대상은 x64 Windows 10/11(S 모드 제외)입니다.
- 앱이 꺼질 때는 봇용 크롬을 먼저 닫습니다. 가상 모니터가 먼저 사라지면 그 위의 창이 실제 모니터로 옮겨질 수 있기 때문입니다.
- M0
vdisplay단계(Parsec 드라이버로 하는 개념 확인)는 돌리지 않기로 했습니다(사용자 결정). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치는 M6에서 함께 넣을 드라이버로 직접 확인합니다. 드라이버 설치 시험은 게임PC가 아니라 서버의 Windows 가상머신에서 먼저 합니다. - 마우스가 가상 모니터로 넘어가지 않도록, 실제 모니터와 구석 한 점만 닿게 배치합니다.
- 디스코드에서는 "화면" 탭에서 그 가상 모니터를 고릅니다.
- Alt+Tab에서는 그대로 빠지고, 실제 모니터에도 보이지 않습니다.
다른 사람의 디스코드 화면공유 보기 (창 분리 방식)
쓰지 않는 방법: discord.exe의 앱 데이터에서 로그인 토큰을 꺼내 쓰는 방식은 하지 않습니다.
- 디스코드 약관 위반이라 계정이 정지될 수 있습니다.
- 백신이 토큰 탈취 악성코드로 탐지하는 동작과 같습니다.
- 토큰이 새면 계정 전체가 넘어갑니다.
공식 봇 계정은 원래 화면공유 영상을 받을 수 없습니다.
쓰는 방법: 화면공유 창을 분리(팝아웃)해서 그 창만 캡처합니다.
디스코드 앱에는 시청 중인 화면공유를 별도 창으로 떼어 내는 "팝아웃" 기능이 있습니다. 분리된 창에는 채팅·멤버 목록이 섞이지 않고 공유 화면만 담겨 있습니다. 그래서 그 창만 캡처하면 이미지가 작고 깨끗해서 빠르고 정확합니다. 계정이나 토큰은 건드리지 않습니다.
- "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다.
- 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다. 자비스가 디스코드 앱을 직접 눌러 창을 분리하지는 않습니다. 디스코드 화면 배치가 바뀌면 자동 조작이 깨지기 쉽기 때문입니다.
- 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다.
- 디스코드는 화면공유 분리 창을 하나만 만들 수 있고, 그 창 안에서 어떤 사람의 화면공유를 볼지 고릅니다. 창 제목에는 음성 채널 이름만 들어가서 지금 누구 화면이 나오는지는 제목으로 알 수 없습니다(M0 결과). 그래서 누가 화면공유 중인지는 봇이 음성 채널 상태로 확인합니다.
- 물어본 사람(철수)이 화면공유 중이 아니면 캡처하지 않고 "철수님은 지금 화면공유 중이 아닙니다."라고 답합니다.
- 철수님이 화면공유 중이면 분리 창에 나오는 화면을 바로 캡처해 답합니다. 공유자가 여러 명이어도 따로 묻지 않습니다. 사용자가 분리 창을 띄워 달라고 할 때는 이미 그 사람 화면을 보고 있기 때문입니다(사용자 결정).
- 질문에 이름이 없으면("지금 화면 뭐야?") 분리 창에 나오는 화면을 그대로 봅니다.
M0 결과:
- 분리 창은 새로 생긴 디스코드 창(
Chrome_WidgetWin_1)으로 찾을 수 있었습니다. 창 제목에는 공유자 이름이 없고 음성 채널 이름만 있습니다. 분리 창은 하나뿐이라 찾은 창을 그대로 쓰면 됩니다. - 분리된 창이 다른 창에 완전히 가려져도 영상은 계속 그려졌습니다(캡처 22장 모두 달랐고 검은 화면 없음). 다른 모니터로 옮겨 둘 필요가 없습니다.
최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다.
백그라운드 크로미움으로 정보 수집
- 봇용 크롬(데이터 폴더 안)을 Playwright로 조종합니다. 웹 검색, 페이지 읽기, 예약 수집에 씁니다.
- 기존 webSearch 도구의 보안 장치를 그대로 가져갑니다. 내부망 접근을 막고, 웹 내용은 명령이 아닌 데이터로 다룹니다.
- 예약 수집은 기능 틀(사이트·검색어·RSS를 주기적으로 모으는 기능)만 만들고 수집 대상은 비워 둡니다. 수집 결과는 데이터 폴더에만 저장합니다.