The M0 stt stage measured 1300 MiB for the model and another 1440 MiB while transcribing ten speakers at once. The game share now subtracts the 2.7 GB peak: about 3.1 GB on the 16 GB game PC (not 4.6 GB), and the 2 GB expert placement returns at a reserve of about 2.2 GB. Both are marked as sums of separate LLM and STT runs. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
217 lines
26 KiB
Markdown
217 lines
26 KiB
Markdown
# PC 기능: 게임 모드, 화면 보기, 키보드·마우스, 화면공유
|
||
|
||
디스코드 봇만으로는 할 수 없고, 게임PC에서 도는 exe라서 가능한 기능입니다.
|
||
|
||
## 게임 모드
|
||
|
||
게임을 켜면 VRAM을 두고 다툽니다. 앱이 게임 실행을 스스로 감지해서 [자동 성능 조절](#자동-성능-조절)의 "게임 중" 단계로 바꿉니다.
|
||
|
||
### 게임 감지 기준
|
||
|
||
| 기준 | 내용 |
|
||
|---|---|
|
||
| 독점 전체화면 | Windows가 알려 주는 "전체화면 D3D 앱 실행 중" 상태로 감지합니다. |
|
||
| 테두리 없는 창 모드 (borderless) | 앞에 있는 창이 아래 세 조건을 모두 만족하면 게임으로 봅니다. 셋 다 맞아야 하므로 일반 프로그램을 최대화한 것과 구분됩니다. (1) 모니터 한 장을 빈틈없이 덮습니다. (2) 제목 표시줄·테두리가 없습니다. (3) 그 프로세스가 GPU 3D 엔진을 일정 수준 이상 씁니다. |
|
||
| 게임 폴더·목록 | Steam, Epic, Riot, Battle.net 게임 폴더에서 실행된 프로그램과 GUI에서 직접 등록한 게임은 창 모양과 상관없이 게임으로 봅니다. |
|
||
| 게임이 아닌 것 | 브라우저 전체화면 영상, 동영상 플레이어, 바탕화면, 디스코드, 봇용 크롬은 제외합니다. 잘못 잡히는 프로그램은 "게임 아님" 목록에 넣습니다. |
|
||
|
||
한 번 게임으로 감지되면 게임 프로세스가 끝날 때까지 게임 모드를 유지합니다. Alt+Tab으로 다른 창을 봐도 마찬가지입니다. 게임이 뒤에 있어도 VRAM은 계속 쓰기 때문입니다. 대시보드에는 "게임 모드: 켜짐 (게임 이름, 감지 이유)"를 표시합니다.
|
||
|
||
## 자동 성능 조절
|
||
|
||
모델은 Qwen3.6-35B-A3B(UD-Q4_K_XL) 하나만 씁니다([decisions.md](decisions.md#m0-결과로-정한-기본값-2026-11-10)). 게임을 켜거나 PC가 바쁠 때 모델을 바꾸지 않고, 같은 모델을 VRAM·CPU를 덜 쓰는 배치로 옮기고 부가 설정을 낮춥니다. 앱이 스스로 판단하므로 사용자가 고를 것은 없습니다. 모든 판단은 PC 안에서만 하고 게임 화면은 보지 않습니다.
|
||
|
||
### 단계
|
||
|
||
| 단계 | 언제 | LLM 배치 (다시 시작 필요) | 다시 시작 없이 바꾸는 것 |
|
||
|---|---|---|---|
|
||
| 평소 | 게임이 없고 VRAM이 넉넉함 | 전문가 층을 VRAM에 들어가는 만큼 올림(Strata 자동 배치), 이미지는 GPU로 읽기. 동시 요청 수는 [응답 정책](conversation.md#동시-대화-응답-정책-gui에서-선택)을 따름: 모든 요청에 답하는 "들어온 순서대로"이면 2개 이상(이 카드에 맞는 수, 최소 2개), 그 밖의 정책이면 1개(하나씩 보면 더 빠름) | 화면 캡처 미리 준비(말하는 중), 화질 보통, 지난 대화 약 8천 토큰 |
|
||
| 게임 중 | 게임을 감지했거나, 다른 프로그램이 VRAM을 써서 남은 VRAM이 "게임용으로 비울 VRAM"보다 적음 | 전문가 층의 VRAM 몫(`--expert-vram`)을 줄여 "게임용으로 비울 VRAM"(기본 8GB)을 비움. 나머지 전문가 층은 RAM에서 CPU로 계산. 동시 요청 1개(응답 정책과 상관없이), 이미지는 CPU로 읽기, 엔진 CPU 작업자는 절반(16코어 PC에서 8개), 맥락 16K. 대화 메모리 형식(`--kv`)과 MTP 끄기는 이 엔진에서 VRAM을 줄이지 않아 쓰지 않음(아래 측정 결과) | 캡처 미리 준비 끔, 화질 빠름(긴 변 768px), 지난 대화 약 4천 토큰 |
|
||
| 일시정지 | 사용자가 켠 경우(기본 꺼짐), 또는 이 PC에서 최소 배치로도 게임 몫을 비울 수 없을 때 | LLM을 멈춤 | 게임 중에는 대답하지 않음 |
|
||
|
||
### PC마다 값을 계산
|
||
|
||
- **배치는 계산해서 정함**: 전문가 층 VRAM 몫 = 그래픽카드 VRAM − 게임용으로 비울 VRAM − 다른 프로그램이 이미 쓰는 VRAM − STT 몫(약 2.7GB: 모델 1.3GB와 10명 동시 전사 때 늘어나는 1.44GB, M0 `stt` 실측) − 엔진 기본 버퍼. 정해 둔 숫자가 아니라 이 식으로 구하므로 VRAM이 작은 PC에도 같은 규칙이 맞습니다.
|
||
- **몫이 최소 배치보다 작을 때**: 계산한 몫이 엔진이 시작할 수 있는 가장 작은 배치(M0 `gamemode`에서 시작에 성공한 가장 작은 값)보다 작으면, 몫을 늘려 게임 몫을 침범하지 않습니다. 대신 게임용으로 비울 VRAM을 "그래픽카드 VRAM − 다른 프로그램 − STT 몫 − 엔진 기본 버퍼 − 최소 배치"까지 줄이고, 대시보드와 게임 모드 설정 화면에 "이 PC에서는 게임에 X GB까지만 비울 수 있음"을 표시합니다. 이렇게 줄인 값이 0 이하이면(예: 8GB 그래픽카드에서 다른 프로그램이 이미 많이 씀) 게임 중에는 LLM을 멈추고 일시정지 단계로 갑니다. 게임 중 일시정지를 꺼 두었어도 마찬가지이고, 그 이유를 대시보드에 표시합니다. 게임이 끝나면 되돌리기 규칙대로 돌아옵니다.
|
||
- **첫 실행 자가 점검**: 설치가 끝나면 평소·게임 중 배치로 각각 30초씩 출력 속도와 음성 첫 문장 시간을 잽니다. 평소 배치가 기준(출력 30 tok/s, 음성 첫 문장 0.7초)에 못 미치는 PC는 평소에도 동시 요청 1개, 이미지 CPU 읽기, 지난 대화 약 4천 토큰으로 시작합니다. 게임 중 배치가 기준에 못 미치면 대시보드와 설정 화면에 "게임 중에는 답이 느릴 수 있음"을 표시합니다.
|
||
- **실행 중 감시**: 대시보드가 이미 재는 단계별 지연을 씁니다. 음성 첫 문장이 최근 5번 중 3번 이상 0.7초를 넘으면 다시 시작 없이 바꿀 수 있는 것부터 낮춥니다: 지난 대화 양 → 화질 → 캡처 미리 준비. 10분 동안 기준 안에 들면 하나씩 되돌립니다. 다시 시작이 필요한 배치 변경은 게임 감지와 VRAM 부족 때만 합니다.
|
||
|
||
### 전환 규칙
|
||
|
||
- **게임 시작**: 지금 하던 답이 끝나면 바로 게임 중 배치로 다시 시작합니다. 다시 시작하는 동안(게임PC 측정 31~36초, 컴퓨터를 켠 뒤 첫 시작은 47초) 들어온 요청은 대기열에 두고, 한 번만 "잠깐만요, 게임 모드로 바꾸는 중이에요"라고 말한 뒤 준비되면 답합니다.
|
||
- **응답 정책을 바꿀 때**: 동시 요청 수가 바뀌는 정책 변경("들어온 순서대로"로 바꾸거나 거기서 다른 정책으로 바꿈)은 LLM을 다시 시작해야 합니다. 게임 시작과 같이 지금 하던 답이 끝난 뒤 다시 시작하고, 그동안 들어온 요청은 대기열에 둡니다. 게임 중에는 다시 시작하지 않고 게임이 끝나 평소 배치로 돌아갈 때 함께 반영합니다.
|
||
- **되돌리기**: 게임이 끝나고 30초 뒤(설정에서 조절), VRAM 부족은 해소된 상태가 60초 이어진 뒤 평소 배치로 돌아갑니다. 게임을 껐다 바로 다시 켤 때 모델을 반복해서 옮기지 않기 위해서입니다.
|
||
- **표시**: 대시보드에 "성능 단계: 게임 중 (발로란트 감지)", 전환 중에는 "모델 배치 바꾸는 중"을 표시합니다.
|
||
- **설정**: GUI에서 바꾸는 것은 게임 감지 켜기/끄기, 게임용으로 비울 VRAM, 되돌리기 대기 시간, 게임 중 일시정지 켜기/끄기뿐입니다.
|
||
- **엔진이 실행 중 VRAM 줄이기를 지원하면**: Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기(`POST /v1/vram`)를 지원하지 않아 다시 시작합니다. 지원하는 버전이 나오면 다시 시작 없이 바로 줄이는 방식으로 바꾸고 다시 잽니다.
|
||
|
||
### 측정 결과 (M0 `gamemode`, 2026-11-10, RTX 5070 Ti 16GB, Ryzen 9 9950X3D)
|
||
|
||
첫 번째 실행:
|
||
|
||
| 배치 | 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 모델 VRAM | 게임에 남는 VRAM |
|
||
|---|---|---|---|---|---|
|
||
| 평소(동시 2개, 이미지 GPU) | 69.6 / 다시 켠 뒤 75.8 | 0.52초 / 0.47초 | 1.1초 | 13.6GB | 1.1GB |
|
||
| 전문가 6GB | 97.1 | 0.39초 | 1.4초 | 14.3GB | 0.4GB |
|
||
| 전문가 4GB | 90.0 | 0.40초 | 1.1초 | 12.8GB | 2.3GB |
|
||
| 전문가 2GB | 73.8 | 0.48초 | 1.1초 | 10.8GB | 4.3GB |
|
||
| 전문가 2GB, CPU 작업자 8개 | 75.8 | 0.51초 | 1.1초 | 10.8GB | 4.3GB |
|
||
|
||
두 번째 실행(게임 중 후보는 모두 동시 1개, 이미지 CPU, CPU 작업자 8개). 배치 전환은 28~36초:
|
||
|
||
| 배치 | 출력 tok/s | 음성 첫 문장 | 맥락 4.8천 토큰 첫 토큰 | 모델 VRAM | 게임에 남는 VRAM |
|
||
|---|---|---|---|---|---|
|
||
| 평소(동시 2개, 이미지 GPU) | 74.7 / 되돌린 뒤 72.2 | 0.48초 / 0.50초 | 1.1초 | 13.7GB | 1.3GB |
|
||
| 전문가 2GB, 맥락 32K | 74.9 | 0.51초 | 1.1초 | 10.8GB | 4.3GB |
|
||
| 전문가 1GB, 맥락 16K (`--kv q4_0`) | 48.2 | 0.64초 | 1.2초 | 9.2GB | 5.9GB |
|
||
| 위와 같고 `--mtp off` | 48.4 | 0.65초 | 1.1초 | 9.1GB | 5.9GB |
|
||
| 전문가 0GB, 맥락 16K, `--mtp off` | 48.1 | 0.65초 | 1.1초 | 9.1GB | 5.9GB |
|
||
| 전문가 0GB, 맥락 8K, `--mtp off` | 48.5 | 0.64초 | 1.1초 | 8.7GB | 6.3GB |
|
||
|
||
모델 VRAM은 엔진을 켜기 전에 다른 프로그램이 쓰던 VRAM(약 1.3GB)을 뺀 값입니다. STT는 켜지 않고 쟀습니다.
|
||
|
||
- **16GB 카드에서는 게임에 8GB를 비울 수 없습니다.** 가장 많이 비운 배치(전문가 0GB, 맥락 8K)도 모델이 8.7GB를 쓰고, 다른 프로그램이 1.3GB를 써서 게임 몫은 6.3GB였습니다. 늘 카드에 남는 것은 가중치 4.4GiB, 긴 프롬프트용 버퍼 1.1GiB, 맥락 길이만큼의 대화 메모리, 그 밖의 버퍼입니다.
|
||
- **`--kv`와 `--mtp off`는 VRAM을 줄이지 않습니다.** Strata 0.1.59 qwen36 엔진 소스(`src/qwen35/q36_engine.cu`)를 보면, 이 엔진은 `--kv`를 받지 않고 대화 메모리를 맥락 길이만큼 정해진 형식으로 잡습니다. MTP 블록도 `--mtp off`와 상관없이 늘 올리고, 끄면 미리 맞히기만 멈춥니다(Strata 도움말의 "약 1GB 덜 씀"은 이 엔진에 맞지 않음). 측정값도 같습니다.
|
||
- **전문가 몫에는 긴 프롬프트용 버퍼 1.1GiB가 먼저 들어갑니다.** 그래서 1GB로 주면 전문가가 하나도 올라가지 않아 0GB와 같고, 2GB에서 층마다 256개 중 12개(0.88GiB)가 올라갑니다. 이 12개가 속도를 크게 바꿉니다: 출력 75 대 48 tok/s, 음성 첫 문장 0.51 대 0.64초. 둘 다 기준(30 tok/s, 0.7초) 안이지만, 0GB는 기준에 가깝습니다.
|
||
- **맥락을 줄이면** 32K→16K에서 약 0.7GB, 16K→8K에서 약 0.4GB가 줄고 속도는 같습니다. 게임 중 맥락은 16K로 둡니다. 지난 대화 약 4천 토큰에 지시문, 도구 설명, 화면 이미지, 검색 결과가 더해지면 8K는 넘칠 수 있어서, 0.4GB를 위해 8K를 쓰지 않습니다.
|
||
- **이 PC의 게임 중 배치**: 기본값 8GB는 비울 수 없으므로 [몫이 최소 배치보다 작을 때](#pc마다-값을-계산) 규칙대로 최소 배치(전문가 0GB, 맥락 16K)로 갑니다. 게임 몫은 LLM만 놓고 5.9GB입니다. STT는 모델만 1.3GB이고 10명 동시 전사 때 1.44GB가 더 늘어나므로(M0 `stt` 실측, 최대 약 2.7GB), 게임 몫은 약 3.1GB입니다. 그래서 "이 PC에서는 게임에 약 3.1GB까지만 비울 수 있음"을 표시합니다. 게임용으로 비울 VRAM을 약 2.2GB 이하로 정하면 같은 식으로 전문가 2GB 배치가 되어 출력이 약 75 tok/s로 돌아옵니다. 3.1GB와 2.2GB는 LLM과 STT를 따로 잰 값을 더한 추정입니다. 둘을 함께 켜고 10명 동시 전사를 돌린 측정은 아직 없습니다.
|
||
- **CPU 작업자**를 16개에서 8개로 줄여도 출력 속도가 줄지 않았습니다(73.8 대 75.8 tok/s). 게임 중에는 8개로 둡니다.
|
||
- **아직 재지 않은 것**: 게임이 GPU를 함께 쓸 때의 속도, 전문가 2GB에 맥락 16K인 배치(추정 게임 몫 LLM만 놓고 약 5.0GB, STT 최대치까지 빼면 약 2.2GB), LLM과 STT(10명 동시 전사)를 함께 켰을 때의 VRAM.
|
||
- **평소 동시 요청 수**: 동시 2개는 Strata가 "16GB 카드에는 1개가 맞음"이라고 경고하고, 전문가 층을 덜 올려서 동시 1개 배치(전문가 6GB)보다 출력이 느렸습니다(69.6~74.7 대 97.1 tok/s). 그래서 평소에는 1개로 두고, 모든 요청에 답하는 "들어온 순서대로" 정책일 때만 2개 이상으로 합니다(사용자 결정, 2026-11-10).
|
||
|
||
## 화면 보기: 전체 화면, 모니터별, 프로그램(창)별
|
||
|
||
- Windows Graphics Capture API로 다음을 볼 수 있습니다.
|
||
- 전체 화면: 모니터 여러 대를 한 장으로 이어 붙인 화면
|
||
- 모니터별 화면: 1번, 2번, 3번 모니터를 따로
|
||
- 프로그램(창)별 화면: 켜져 있는 창 하나하나. 다른 창에 가려져 있어도 캡처됩니다.
|
||
- 자비스에게는 "화면 보기" 도구로 연결합니다. "2번 모니터 뭐 떠 있어?", "크롬 창 내용 읽어 줘"처럼 물으면 해당 화면을 캡처해 이미지로 판단합니다.
|
||
- GUI 미리보기에서도 같은 대상을 고를 수 있습니다.
|
||
- **캡처 제외 목록**: 은행, 비밀번호 관리자처럼 봇이 보면 안 되는 프로그램을 지정합니다. 그 창은 캡처하지 않고, 전체 화면 캡처에서도 가립니다.
|
||
- **안 보이는 경우**: 최소화된 창, 저작권 보호 영상(넷플릭스 등), 일부 게임의 독점 전체화면은 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다. 캡처가 실패하면 자비스가 "그 화면은 볼 수 없다"고 그대로 말합니다.
|
||
|
||
## 화면 질문을 빠르게
|
||
|
||
"2번 화면에 뭐 떠 있어?"에서 시간이 드는 곳은 세 군데입니다. 셋 다 줄입니다.
|
||
|
||
1. 화면 캡처
|
||
2. 이미지 줄이기·변환
|
||
3. LLM이 이미지를 읽는 시간
|
||
|
||
| 방법 | 내용 |
|
||
|---|---|
|
||
| 캡처 미리 준비 | 캡처 세션은 새로 열 때 시간이 걸립니다. 그래서 누군가 말을 시작하면(음성 감지 시점) 모니터별 캡처 세션을 미리 열어 두고, 각 모니터의 **가장 최근 한 장만** GPU 메모리에 들고 있습니다. 질문이 끝났을 때는 이미 있는 한 장을 꺼내기만 하면 됩니다. 말이 끝나고 일정 시간 질문이 없으면 세션을 닫습니다. 설정: 말하는 중에만(기본) / 항상 / 끔. 미리 잡아 둔 화면은 메모리에만 있고 저장하거나 밖으로 보내지 않으며, 계속 새 화면으로 덮어씁니다. |
|
||
| GPU에서 바로 줄이기 | 4K 원본을 CPU로 옮기지 않고 GPU에서 모델이 읽기 좋은 크기로 줄인 뒤 JPEG로 만듭니다. 캡처 제외 프로그램 가리기도 이 단계에서 같이 합니다. |
|
||
| 화질 단계 | 빠름(긴 변 약 768px) / 보통(약 1280px, 기본) / 자세히(원본을 나눠서 여러 장). 이미지가 작을수록 LLM이 읽는 양이 줄어 빨라집니다. "글자 읽어 줘"처럼 세밀한 질문이면 AI가 스스로 "자세히"를 고릅니다. |
|
||
| 도구 호출 한 번으로 | AI가 "화면 보기" 도구를 부르면 캡처 이미지를 바로 같은 대화에 붙여 이어서 답합니다. LLM 엔진이 지원하면 고정된 앞부분(시스템 프롬프트 등)은 다시 계산하지 않게 캐시합니다. |
|
||
| 창 단위로 좁히기 | "크롬 창"처럼 창을 말하면 모니터 전체가 아니라 그 창만 캡처합니다. |
|
||
| 답도 문장 단위로 | 이미지를 읽은 뒤 답의 첫 문장이 나오면 바로 읽기 시작합니다. |
|
||
|
||
| 단계 (질문이 끝난 뒤) | 목표 |
|
||
|---|---|
|
||
| 최근 화면 꺼내기 + 줄이기·JPEG | 50ms 이내 |
|
||
| AI가 "화면 보기" 도구 고르기 | 100~250ms |
|
||
| LLM이 이미지 읽기 (보통 화질) | 300~800ms |
|
||
| 첫 문장 + TTS | 일반 질문과 같음 |
|
||
| **합계** | **일반 질문보다 0.5~1초 더, 약 1.5~2.5초** |
|
||
|
||
**확인이 필요한 점**: 이미지를 읽으려면 LLM이 이미지 입력을 지원해야 합니다. M0에서 다음을 잽니다.
|
||
|
||
- 모델의 이미지 입력 지원
|
||
- Strata의 이미지 입력 지원
|
||
- 화질 단계별 실제 시간
|
||
|
||
못 읽으면 작은 이미지 전용 모델을 하나 더 올리는 예비안을 쓰고, VRAM 배분을 다시 계산합니다. Windows 11에서는 캡처할 때 노란 테두리가 뜨지 않게 설정합니다.
|
||
|
||
## 키보드·마우스 제어와 안티치트
|
||
|
||
- 프로그램 조작은 [agent-desktop](https://github.com/vercel-labs/agent-desktop)(Apache-2.0, Windows UI Automation)으로 합니다. 앱 설치 파일에 실행 파일(약 4MB)을 함께 넣습니다.
|
||
- 창의 버튼·입력칸·메뉴 목록을 글자로 읽고, 고른 항목을 직접 누르거나 값을 넣습니다. 화면 좌표를 쓰지 않으므로 해상도·배율·창 위치가 바뀌어도 맞게 누릅니다.
|
||
- 기본은 마우스 커서를 움직이지 않고 포커스도 가져오지 않습니다. 사용자가 다른 창에서 작업하는 중에도 뒤에 있는 창을 조작할 수 있습니다. 최소화된 창은 조작하지 못하므로 먼저 되돌립니다.
|
||
- 누르거나 넣은 뒤 화면을 다시 읽어 결과를 확인하고, 확인된 것만 "했습니다"라고 말합니다.
|
||
- Alt+F4, Win+R, Ctrl+Shift+Esc 같은 위험 단축키는 agent-desktop이 기본으로 막습니다. 이 막음을 푸는 옵션(`--force`)은 쓰지 않습니다.
|
||
- 관리자 권한으로 실행된 창은 Windows가 막아서 조작하지 못합니다. 그때는 못 한다고 답합니다.
|
||
- 접근성 정보가 없는 화면(게임, 그림으로만 그린 화면)에만 Windows 입력 API로 실제 키보드·마우스를 넣습니다. 이때는 커서와 포커스가 움직입니다.
|
||
- 두뇌에는 도구 하나(창 목록, 실행, 화면 항목 읽기, 누르기, 값 넣기, 키 누르기, 닫기)로만 보여 줍니다. agent-desktop의 MCP 서버를 그대로 붙이면 도구가 67개라 작은 모델이 고르기 어렵기 때문입니다. 실제 호출과 허용 범위·안티치트·비상 정지 검사는 PC 제어 모듈이 합니다.
|
||
- PC 제어 모듈이 agent-desktop을 계속 켜 두고 쓸지(MCP 서버), 매번 실행할지는 M0 `desktop` 단계에서 잰 속도로 정합니다.
|
||
- 읽은 화면 글자는 PC 안의 LLM에만 들어가고 로그와 결과 파일에는 남기지 않습니다. 로그에는 동작 이름과 결과 코드만 적습니다.
|
||
- 자비스가 직접 조작할 때는 **허용 범위**와 **위험 동작 확인**을 거칩니다. 파일 삭제, 결제, 전송 등은 음성/GUI로 한 번 더 확인합니다.
|
||
- **비상 정지 단축키**를 누르면 모든 자동 조작이 즉시 멈춥니다.
|
||
|
||
### 안티치트 게임 실행 중에는 제어를 막습니다
|
||
|
||
발로란트(Vanguard) 같은 커널 안티치트는 프로그램이 넣는 입력을 감지해 계정을 제재할 수 있습니다. 그래서 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 조작 요청을 받아도 아무것도 입력하지 않습니다. 음성, 채팅, GUI 조작 모두 같습니다. 대신 이렇게 안내합니다.
|
||
|
||
> 뱅가드가 적용된 게임(VALORANT)이 실행 중이어서 키보드/마우스 제어를 할 수 없습니다.
|
||
|
||
- 안티치트 이름과 게임 이름은 실제로 감지한 것으로 바뀝니다.
|
||
- 음성으로 시켰으면 음성으로, 채팅으로 시켰으면 채팅으로 답하고, GUI에도 표시합니다.
|
||
- 게임을 끄면 다시 제어할 수 있습니다.
|
||
- 화면 보기는 화면을 읽기만 하므로 그대로 됩니다.
|
||
|
||
| 안티치트 (기본 목록) | 감지 방법 |
|
||
|---|---|
|
||
| 뱅가드 (Vanguard) | 뱅가드 드라이버는 PC를 켤 때부터 항상 올라와 있습니다. 그래서 드라이버가 아니라 **Riot 게임 프로세스**(VALORANT, 리그 오브 레전드)가 실행 중인지로 판단합니다. |
|
||
| Easy Anti-Cheat, BattlEye, FACEIT AC, nProtect GameGuard, XIGNCODE3 등 | 게임과 함께 실행되는 안티치트 프로세스·서비스가 떠 있는지로 판단합니다. |
|
||
| 목록에 없는 게임 | PC 제어 화면에서 "이 게임은 안티치트 있음"으로 직접 추가합니다. 감지를 끄는 우회 설정은 만들지 않습니다(계정 정지 위험). |
|
||
|
||
정확한 프로세스 이름 목록은 M0에서 게임PC에 설치된 게임으로 확인하고, 앱 업데이트로 늘려 갑니다.
|
||
|
||
## 봇용 크롬창과 디스코드 화면공유
|
||
|
||
셀프봇 Go Live 송출은 v2에서 뺍니다. 대신 봇이 쓰는 크롬창을 사용자가 디스코드 앱에서 직접 화면공유할 수 있게 합니다.
|
||
|
||
- **GUI 설정 "봇용 크롬창 화면공유 선택 표시"**:
|
||
- 켜짐: 봇용 크롬창이 있는 가상 모니터가 디스코드 "화면 공유 → 화면" 탭에 나타납니다(아래 가상 모니터 방식).
|
||
- 꺼짐(기본): 봇용 크롬창은 화면 없이(백그라운드) 돌고, 디스코드 목록에도 나오지 않습니다.
|
||
- **Alt+Tab, Win+Tab, 작업 표시줄에는 항상 안 보입니다.** 켜짐 상태에서도 창을 "도구 창" 속성으로 바꿔 창 전환 목록에서 빼고, 다른 창들 뒤(맨 아래)에 둡니다.
|
||
- 크롬은 가려진 창의 그리기를 멈추는 기능이 있습니다. 봇용 크롬은 이 기능을 끄고 실행해서, 다른 창 뒤에 있어도 화면공유 영상이 멈추지 않게 합니다.
|
||
|
||
**먼저 확인할 점**: 디스코드가 화면공유 목록을 Alt+Tab과 같은 기준으로 거르면, 도구 창 속성 때문에 목록에서도 빠질 수 있습니다. M0 확인 스크립트에서 가장 먼저 봅니다.
|
||
|
||
**M0 결과**: 도구 창으로 바꾸면 디스코드 "창" 목록에서도 빠졌습니다. 그래서 아래 가상 모니터 방식으로 갑니다(사용자 선택: 두 번째 모니터에도 보이지 않게).
|
||
|
||
**가상 모니터 방식**: 가상 모니터를 하나 만들고 봇용 크롬을 그 모니터에 둡니다.
|
||
|
||
- 가상 디스플레이 드라이버는 앱 설치 파일에 들어 있어야 합니다(다른 프로그램 설치를 전제로 하지 않음). 오픈소스 Virtual Display Driver(MIT, SignPath 재단 서명)를 함께 넣고, 앱이 가상 모니터 수를 바꿔 켜고 끕니다(사용자 선택). 설치 때 관리자 권한을 한 번 묻습니다(설치 승인받음). 대상은 x64 Windows 10/11(S 모드 제외)입니다.
|
||
- 앱이 꺼질 때는 봇용 크롬을 먼저 닫습니다. 가상 모니터가 먼저 사라지면 그 위의 창이 실제 모니터로 옮겨질 수 있기 때문입니다.
|
||
- M0 `vdisplay` 단계(Parsec 드라이버로 하는 개념 확인)는 돌리지 않기로 했습니다(사용자 결정). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치는 M6에서 함께 넣을 드라이버로 직접 확인합니다. 드라이버 설치 시험은 게임PC가 아니라 서버의 Windows 가상머신에서 먼저 합니다.
|
||
- 마우스가 가상 모니터로 넘어가지 않도록, 실제 모니터와 구석 한 점만 닿게 배치합니다.
|
||
- 디스코드에서는 "화면" 탭에서 그 가상 모니터를 고릅니다.
|
||
- Alt+Tab에서는 그대로 빠지고, 실제 모니터에도 보이지 않습니다.
|
||
|
||
## 다른 사람의 디스코드 화면공유 보기 (창 분리 방식)
|
||
|
||
**쓰지 않는 방법**: discord.exe의 앱 데이터에서 로그인 토큰을 꺼내 쓰는 방식은 하지 않습니다.
|
||
|
||
- 디스코드 약관 위반이라 계정이 정지될 수 있습니다.
|
||
- 백신이 토큰 탈취 악성코드로 탐지하는 동작과 같습니다.
|
||
- 토큰이 새면 계정 전체가 넘어갑니다.
|
||
|
||
공식 봇 계정은 원래 화면공유 영상을 받을 수 없습니다.
|
||
|
||
**쓰는 방법**: 화면공유 창을 분리(팝아웃)해서 그 창만 캡처합니다.
|
||
|
||
디스코드 앱에는 시청 중인 화면공유를 별도 창으로 떼어 내는 "팝아웃" 기능이 있습니다. 분리된 창에는 채팅·멤버 목록이 섞이지 않고 공유 화면만 담겨 있습니다. 그래서 그 창만 캡처하면 이미지가 작고 깨끗해서 빠르고 정확합니다. 계정이나 토큰은 건드리지 않습니다.
|
||
|
||
1. "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다.
|
||
2. 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다. 자비스가 디스코드 앱을 직접 눌러 창을 분리하지는 않습니다. 디스코드 화면 배치가 바뀌면 자동 조작이 깨지기 쉽기 때문입니다.
|
||
3. 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다.
|
||
4. 디스코드는 화면공유 분리 창을 하나만 만들 수 있고, 그 창 안에서 어떤 사람의 화면공유를 볼지 고릅니다. 창 제목에는 음성 채널 이름만 들어가서 지금 누구 화면이 나오는지는 제목으로 알 수 없습니다(M0 결과). 그래서 누가 화면공유 중인지는 봇이 음성 채널 상태로 확인합니다.
|
||
- 물어본 사람(철수)이 화면공유 중이 아니면 캡처하지 않고 "철수님은 지금 화면공유 중이 아닙니다."라고 답합니다.
|
||
- 철수님이 화면공유 중이면 분리 창에 나오는 화면을 바로 캡처해 답합니다. 공유자가 여러 명이어도 따로 묻지 않습니다. 사용자가 분리 창을 띄워 달라고 할 때는 이미 그 사람 화면을 보고 있기 때문입니다(사용자 결정).
|
||
- 질문에 이름이 없으면("지금 화면 뭐야?") 분리 창에 나오는 화면을 그대로 봅니다.
|
||
|
||
**M0 결과**:
|
||
|
||
1. 분리 창은 새로 생긴 디스코드 창(`Chrome_WidgetWin_1`)으로 찾을 수 있었습니다. 창 제목에는 공유자 이름이 없고 음성 채널 이름만 있습니다. 분리 창은 하나뿐이라 찾은 창을 그대로 쓰면 됩니다.
|
||
2. 분리된 창이 다른 창에 완전히 가려져도 영상은 계속 그려졌습니다(캡처 22장 모두 달랐고 검은 화면 없음). 다른 모니터로 옮겨 둘 필요가 없습니다.
|
||
|
||
최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다.
|
||
|
||
## 백그라운드 크로미움으로 정보 수집
|
||
|
||
- 봇용 크롬(데이터 폴더 안)을 Playwright로 조종합니다. 웹 검색, 페이지 읽기, 예약 수집에 씁니다.
|
||
- 기존 webSearch 도구의 보안 장치를 그대로 가져갑니다. 내부망 접근을 막고, 웹 내용은 명령이 아닌 데이터로 다룹니다.
|
||
- 예약 수집은 기능 틀(사이트·검색어·RSS를 주기적으로 모으는 기능)만 만들고 **수집 대상은 비워 둡니다**. 수집 결과는 데이터 폴더에만 저장합니다.
|