Files
javis_bot/docs/v2/pc-features.md
javis-bot 7e83b09dd5 fix(app): game detection finds Battle.net games where they are installed and takes any letters in a path
- Battle.net installs anywhere: its games come from the machine's uninstall entries (removed by
  its Blizzard Uninstaller or published by Blizzard Entertainment, with an install folder, not
  Battle.net itself), read when the watch starts; a program inside one is a game named after
  the entry
- launcher folders are matched part by part with ASCII case ignored; the name was cut by byte
  positions of a lower-cased copy, which panicked the detection thread on a path such as
  D:\İ\steamapps\common\하데스\game.exe
- checked on the win-ci VM: a Steam game under a non-ASCII path and a Battle.net game (test
  uninstall entry) turn game mode on with their names and off when they end

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-14 09:32:53 +09:00

48 KiB
Raw Blame History

PC 기능: 게임 모드, 화면 보기, 키보드·마우스, 화면공유

디스코드 봇만으로는 할 수 없고, 게임PC에서 도는 exe라서 가능한 기능입니다.

게임 모드

게임을 켜면 VRAM을 두고 다툽니다. 앱이 게임 실행을 스스로 감지해서 자동 성능 조절의 "게임 중" 단계로 바꿉니다.

게임 감지 기준

기준 내용
독점 전체화면 Windows가 알려 주는 "전체화면 D3D 앱 실행 중" 상태로 감지합니다.
테두리 없는 창 모드 (borderless) 앞에 있는 창이 아래 세 조건을 모두 만족하면 게임으로 봅니다. 셋 다 맞아야 하므로 일반 프로그램을 최대화한 것과 구분됩니다. (1) 모니터 한 장을 빈틈없이 덮습니다. (2) 제목 표시줄·테두리가 없습니다. (3) 그 프로세스가 GPU 3D 엔진을 일정 수준 이상 씁니다.
게임 폴더·목록 Steam, Epic, Riot, Battle.net 게임 폴더에서 실행된 프로그램과 GUI에서 직접 등록한 게임은 창 모양과 상관없이 게임으로 봅니다. Battle.net 게임은 아무 폴더에나 설치되므로 Windows에 등록된 설치 정보(프로그램 제거 목록)에서 설치 폴더를 찾습니다.
게임이 아닌 것 브라우저 전체화면 영상, 동영상 플레이어, 바탕화면, 디스코드, 봇용 크롬은 제외합니다. 잘못 잡히는 프로그램은 "게임 아님" 목록에 넣습니다.

한 번 게임으로 감지되면 게임 프로세스가 끝날 때까지 게임 모드를 유지합니다. Alt+Tab으로 다른 창을 봐도 마찬가지입니다. 게임이 뒤에 있어도 VRAM은 계속 쓰기 때문입니다. 대시보드에는 "게임 모드: 켜짐 (게임 이름, 감지 이유)"를 표시합니다.

자동 성능 조절

모델은 Qwen3.6-35B-A3B(UD-Q4_K_XL) 하나만 씁니다(decisions.md). 게임을 켜거나 PC가 바쁠 때 모델을 바꾸지 않고, 같은 모델을 VRAM·CPU를 덜 쓰는 배치로 옮기고 부가 설정을 낮춥니다. 앱이 스스로 판단하므로 사용자가 고를 것은 없습니다. 모든 판단은 PC 안에서만 하고 게임 화면은 보지 않습니다.

단계

단계 언제 LLM 배치 (다시 시작 필요) 다시 시작 없이 바꾸는 것
평소 게임이 없고 VRAM이 넉넉함 전문가 층의 VRAM 몫(--expert-vram)을 STT 몫과 다른 프로그램용 여유(기본 1GB)를 남기고 계산해서 정함(아래 식, 게임용으로 비울 VRAM은 0). Strata 자동 배치는 STT 자리를 남기지 않아 쓰지 않음(아래 측정 결과). 이미지는 GPU로 읽기. 동시 요청 수는 채팅 채널 설정을 따름: "모든 메시지에 대답" 채널이 하나라도 있으면 2개 이상(이 카드에 맞는 수, 최소 2개), 없으면 1개(하나씩 보면 더 빠름) 화면 캡처 미리 준비(말하는 중), 화질 보통, 지난 대화 약 8천 토큰
게임 중 게임을 감지했거나, 다른 프로그램이 VRAM을 써서 남은 VRAM이 "게임용으로 비울 VRAM"보다 적음 전문가 층의 VRAM 몫(--expert-vram)을 줄여 "게임용으로 비울 VRAM"(기본 8GB)을 비움. 나머지 전문가 층은 RAM에서 CPU로 계산. 동시 요청 1개(채팅 채널 설정과 상관없이), 이미지는 CPU로 읽기, 엔진 CPU 작업자는 절반(16코어 PC에서 8개), 맥락 16K. 대화 메모리 형식(--kv)과 MTP 끄기는 이 엔진에서 VRAM을 줄이지 않아 쓰지 않음(아래 측정 결과) 캡처 미리 준비 끔, 화질 빠름(긴 변 768px), 지난 대화 약 4천 토큰
일시정지 사용자가 켠 경우(기본 꺼짐), 또는 이 PC에서 최소 배치로도 게임 몫을 비울 수 없을 때 LLM을 멈춤 게임 중에는 대답하지 않음

PC마다 값을 계산

  • 배치는 계산해서 정함: 전문가 층 VRAM 몫 = 그래픽카드 VRAM − 게임용으로 비울 VRAM − 다른 프로그램이 이미 쓰는 VRAM − STT 몫(약 2.7GB: 모델 1.3GB와 10명 동시 전사 때 늘어나는 1.44GB, M0 stt 실측) − 엔진 기본 버퍼 − 여유분(768MiB, 엔진이 스스로 남기는 양과 같음). 평소 배치도 같은 식이고, 게임용으로 비울 VRAM 대신 다른 프로그램용 여유(기본 1GB)를 뺍니다(사용자 결정, 2026-11-10). 이 여유는 나중에 켜는 브라우저 영상 같은 프로그램 몫이고, 이미 켜져 있는 프로그램은 "다른 프로그램이 이미 쓰는 VRAM"으로 따로 빠집니다. 게임 중에는 게임용으로 비울 VRAM이 이 역할을 하므로 다른 프로그램용 여유를 따로 빼지 않습니다. 엔진 기본 버퍼는 첫 실행 자가 점검에서 전문가 층 없이 한 번 켜서 잽니다. 정해 둔 숫자가 아니라 이 식으로 구하므로 VRAM이 작은 PC에도 같은 규칙이 맞습니다.
  • 게임 중 최소 배치는 전문가 2GB입니다(사용자 결정, 2026-11-10). 전문가 몫에는 긴 프롬프트용 버퍼 1.1GiB가 먼저 들어가므로 2GB는 전문가를 실제로 올리는 가장 작은 값이고, 실제 게임 중에는 0GB보다 출력이 1.5~2.1배 빨랐습니다(아래 측정 결과). 0GB는 2GB로는 게임 몫이 0 이하가 되는 PC에서만 일시정지 전 마지막 단계로 씁니다.
  • 몫이 최소 배치보다 작을 때: 계산한 몫이 최소 배치(전문가 2GB)보다 작으면, 몫을 늘려 게임 몫을 침범하지 않습니다. 대신 게임용으로 비울 VRAM을 "그래픽카드 VRAM − 다른 프로그램 − STT 몫 − 엔진 기본 버퍼 − 최소 배치"까지 줄이고, 대시보드와 게임 모드 설정 화면에 "이 PC에서는 게임에 X GB까지만 비울 수 있음"을 표시합니다. 이렇게 줄인 값이 0 이하이면(예: 8GB 그래픽카드에서 다른 프로그램이 이미 많이 씀) 게임 중에는 LLM을 멈추고 일시정지 단계로 갑니다. 게임 중 일시정지를 꺼 두었어도 마찬가지이고, 그 이유를 대시보드에 표시합니다. 게임이 끝나면 되돌리기 규칙대로 돌아옵니다.
  • 첫 실행 자가 점검: 설치가 끝나면 평소·게임 중 배치로 각각 30초씩 출력 속도와 음성 첫 문장 시간을 잽니다. 평소 배치가 기준(출력 30 tok/s, 음성 첫 문장 0.7초)에 못 미치는 PC는 평소에도 동시 요청 1개, 이미지 CPU 읽기, 지난 대화 약 4천 토큰으로 시작합니다. 게임 중 배치가 기준에 못 미치면 대시보드와 설정 화면에 "게임 중에는 답이 느릴 수 있음"을 표시합니다.
  • GPU 사용률 제한은 두지 않습니다: Jarvis 옆에서 보는 영상이 끊기지 않도록 LLM 엔진과 음성·두뇌 워커를 200ms마다 함께 10ms씩 멈추는 제한(Windows 프로세스 일시정지)을 검토했지만 뺐습니다(2026-11-11). M0 gamemode_tune에서는 멈춘 시간이 정한 대로 5.2%였는데도 nvidia-smi 사용률이 내려가지 않았고(STT를 쉬지 않고 돌릴 때 중앙값 96→98%, LLM만 40→39%) 출력만 6~10% 느려졌습니다(측정 결과). M0 video_drops에서는 제한이 없어도 Jarvis가 GPU를 98%까지 쓰는 동안 유튜브 1080p 60fps 영상이 끊기지 않았고, 95% 제한은 끊긴 프레임을 줄이지 못했습니다(측정 결과). 미리 정한 기준(제한이 끊김을 줄이지 못하면 설정을 뺌)대로 설정에서 뺐습니다. 게임 화면 프레임에 주는 영향은 아래 game_frames로 따로 잽니다.
  • 대신 게임 화면의 프레임을 직접 봤고, 양보는 넣지 않습니다(M0 game_frames, 2026-11-11): 사용률 제한은 GPU 전체 사용률을 보고 Jarvis를 일정 시간씩 멈추는 방식이라, 게임이 GPU를 원하지 않을 때도 Jarvis를 느리게 했고 정작 막으려던 것(화면이 끊기는 것)은 보지 않았습니다. 그래서 게임 화면의 프레임을 기준으로 삼고, 멈추는 대신 우선순위로 양보하는 방법을 후보로 함께 쟀습니다. 실제 게임 중 Jarvis가 바쁠 때 평균 fps는 0.2%, 1% low는 3.3% 떨어졌고 50ms 넘는 프레임은 늘지 않아서(0개), 아래 미리 정한 기준대로 양보는 넣지 않습니다(측정 결과).
    • 기준은 게임 화면의 프레임 시간입니다: 평균 fps, 1% low(가장 느린 1% 프레임), 50ms·100ms를 넘는 프레임 수를 봅니다. 게임이 프레임을 만든 간격이 아니라 화면이 실제로 바뀐 간격으로 셉니다. 게임은 60fps로 프레임을 내도 화면에는 일부만 나갈 수 있기 때문입니다. 화면에 나가지 못한 프레임 수도 따로 셉니다. Windows가 기록하는 프레임 시각만 읽고 게임 화면은 보지 않습니다.
    • 양보(재 본 후보, 넣지 않음): 게임 중에는 LLM 엔진과 음성·두뇌 워커의 CPU 우선순위와 GPU 스케줄링 우선순위를 "보통 이하"로 둡니다(Windows 프로세스 우선순위, 일시정지 없음). Windows는 게임이 같은 코어나 GPU를 원할 때만 게임에 먼저 내주므로, 게임이 덜 바쁠 때는 Jarvis 속도가 그대로입니다. 게임이 없을 때는 양보하지 않습니다(영상은 양보 없이도 끊기지 않았음). 설정 화면에는 두지 않습니다.
    • 미리 정한 기준: Jarvis가 답하는 동안 게임의 평균 fps와 1% low가 게임만 켠 때보다 5% 넘게 떨어지지 않고 50ms 넘는 프레임도 늘지 않으면, 아무것도 더하지 않습니다(양보도 넣지 않음). 더 떨어지면 양보가 그 하락을 절반 이상 줄일 때 게임 중 기본으로 켭니다. 이때 Jarvis 출력이 20% 넘게 느려지면 켜기 전에 사용자에게 묻습니다. 양보로도 줄지 않으면 넣지 않고, 대시보드에서 게임 중 일시정지를 안내합니다.
  • 실행 중 감시: 대시보드가 이미 재는 단계별 지연을 씁니다. 음성 첫 문장이 최근 5번 중 3번 이상 0.7초를 넘으면 다시 시작 없이 바꿀 수 있는 것부터 낮춥니다: 지난 대화 양 → 화질 → 캡처 미리 준비. 10분 동안 기준 안에 들면 하나씩 되돌립니다. 다시 시작이 필요한 배치 변경은 게임 감지와 VRAM 부족 때만 합니다.

전환 규칙

  • 게임 시작: 지금 하던 답이 끝나면 바로 게임 중 배치로 다시 시작합니다. 다시 시작하는 동안(게임PC 측정 31~36초, 컴퓨터를 켠 뒤 첫 시작은 47초) 들어온 요청은 대기열에 두고, 한 번만 "잠깐만요, 게임 모드로 바꾸는 중이에요"라고 말한 뒤 준비되면 답합니다.
  • 채팅 채널 설정을 바꿀 때: 동시 요청 수가 바뀌는 변경(첫 "모든 메시지에 대답" 채널을 켜거나 마지막 하나를 끔)은 LLM을 다시 시작해야 합니다. 게임 시작과 같이 지금 하던 답이 끝난 뒤 다시 시작하고, 그동안 들어온 요청은 대기열에 둡니다. 게임 중에는 다시 시작하지 않고 게임이 끝나 평소 배치로 돌아갈 때 함께 반영합니다.
  • 되돌리기: 게임이 끝나고 30초 뒤(설정에서 조절), VRAM 부족은 해소된 상태가 60초 이어진 뒤 평소 배치로 돌아갑니다. 게임을 껐다 바로 다시 켤 때 모델을 반복해서 옮기지 않기 위해서입니다.
  • 표시: 대시보드에 "성능 단계: 게임 중 (발로란트 감지)", 전환 중에는 "모델 배치 바꾸는 중"을 표시합니다.
  • 설정: GUI에서 바꾸는 것은 게임 감지 켜기/끄기, 게임용으로 비울 VRAM, 다른 프로그램용 여유 VRAM(평소, 기본 1GB), 되돌리기 대기 시간, 게임 중 일시정지 켜기/끄기뿐입니다.
  • 엔진이 실행 중 VRAM 줄이기를 지원하면: Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기(POST /v1/vram)를 지원하지 않아 다시 시작합니다. 지원하는 버전이 나오면 다시 시작 없이 바로 줄이는 방식으로 바꾸고 다시 잽니다.

측정 결과 (M0 gamemode, 2026-11-10, RTX 5070 Ti 16GB, Ryzen 9 9950X3D)

첫 번째 실행:

배치 출력 tok/s 음성 첫 문장 맥락 4.8천 토큰 첫 토큰 모델 VRAM 게임에 남는 VRAM
평소(동시 2개, 이미지 GPU) 69.6 / 다시 켠 뒤 75.8 0.52초 / 0.47초 1.1초 13.6GB 1.1GB
전문가 6GB 97.1 0.39초 1.4초 14.3GB 0.4GB
전문가 4GB 90.0 0.40초 1.1초 12.8GB 2.3GB
전문가 2GB 73.8 0.48초 1.1초 10.8GB 4.3GB
전문가 2GB, CPU 작업자 8개 75.8 0.51초 1.1초 10.8GB 4.3GB

두 번째 실행(게임 중 후보는 모두 동시 1개, 이미지 CPU, CPU 작업자 8개). 배치 전환은 28~36초:

배치 출력 tok/s 음성 첫 문장 맥락 4.8천 토큰 첫 토큰 모델 VRAM 게임에 남는 VRAM
평소(동시 2개, 이미지 GPU) 74.7 / 되돌린 뒤 72.2 0.48초 / 0.50초 1.1초 13.7GB 1.3GB
전문가 2GB, 맥락 32K 74.9 0.51초 1.1초 10.8GB 4.3GB
전문가 1GB, 맥락 16K (--kv q4_0) 48.2 0.64초 1.2초 9.2GB 5.9GB
위와 같고 --mtp off 48.4 0.65초 1.1초 9.1GB 5.9GB
전문가 0GB, 맥락 16K, --mtp off 48.1 0.65초 1.1초 9.1GB 5.9GB
전문가 0GB, 맥락 8K, --mtp off 48.5 0.64초 1.1초 8.7GB 6.3GB

모델 VRAM은 엔진을 켜기 전에 다른 프로그램이 쓰던 VRAM(약 1.3GB)을 뺀 값입니다. STT는 켜지 않고 쟀습니다.

  • 16GB 카드에서는 게임에 8GB를 비울 수 없습니다. 가장 많이 비운 배치(전문가 0GB, 맥락 8K)도 모델이 8.7GB를 쓰고, 다른 프로그램이 1.3GB를 써서 게임 몫은 6.3GB였습니다. 늘 카드에 남는 것은 가중치 4.4GiB, 긴 프롬프트용 버퍼 1.1GiB, 맥락 길이만큼의 대화 메모리, 그 밖의 버퍼입니다.
  • --kv와 --mtp off는 VRAM을 줄이지 않습니다. Strata 0.1.59 qwen36 엔진 소스(src/qwen35/q36_engine.cu)를 보면, 이 엔진은 --kv를 받지 않고 대화 메모리를 맥락 길이만큼 정해진 형식으로 잡습니다. MTP 블록도 --mtp off와 상관없이 늘 올리고, 끄면 미리 맞히기만 멈춥니다(Strata 도움말의 "약 1GB 덜 씀"은 이 엔진에 맞지 않음). 측정값도 같습니다.
  • 전문가 몫에는 긴 프롬프트용 버퍼 1.1GiB가 먼저 들어갑니다. 그래서 1GB로 주면 전문가가 하나도 올라가지 않아 0GB와 같고, 2GB에서 층마다 256개 중 12개(0.88GiB)가 올라갑니다. 이 12개가 속도를 크게 바꿉니다: 출력 75 대 48 tok/s, 음성 첫 문장 0.51 대 0.64초. 둘 다 기준(30 tok/s, 0.7초) 안이지만, 0GB는 기준에 가깝습니다.
  • 맥락을 줄이면 32K→16K에서 약 0.7GB, 16K→8K에서 약 0.4GB가 줄고 속도는 같습니다. 게임 중 맥락은 16K로 둡니다. 지난 대화 약 4천 토큰에 지시문, 도구 설명, 화면 이미지, 검색 결과가 더해지면 8K는 넘칠 수 있어서, 0.4GB를 위해 8K를 쓰지 않습니다.
  • 이 PC의 게임 중 배치: 기본값 8GB는 비울 수 없으므로 몫이 최소 배치보다 작을 때 규칙대로 최소 배치(전문가 2GB, 맥락 16K)로 갑니다. LLM과 STT(GPU, 10명 동시 전사)를 함께 켜고 잰 게임 몫은 2.6GB여서(아래 LLM과 STT를 함께 켠 측정) "이 PC에서는 게임에 약 2.6GB까지만 비울 수 있음"을 표시합니다. 0GB 배치(게임 몫 3.6GB)는 실제 게임에서 출력이 2GB의 절반 정도라 쓰지 않습니다(사용자 결정, 2026-11-10).
  • CPU 작업자를 16개에서 8개로 줄여도 출력 속도가 줄지 않았습니다(73.8 대 75.8 tok/s). 게임 중에는 8개로 둡니다.
  • STT는 게임 중에도 GPU에 둡니다. CPU로 옮기면 게임 몫이 약 2.7GB 늘고 LLM도 빨라지지만, 45초짜리 말 한 마디를 받아 적는 데 3.03.8초(GPU 0.110.19초), 10명 동시 전사 한 번에 3237초(GPU 1.13.0초)가 걸려 0.30.5초마다 하는 부분 전사를 따라가지 못합니다. 실제 게임 중 전문가 2GB 배치에서 한 사람 전사와 짧은 프롬프트의 음성 첫 문장 중앙값(서로 다른 측정)을 단순히 더하면 CPU 약 4.3초, GPU 약 1.2초입니다. TTS와 전사 대기는 빠진 추정이라 실제 음성 시작 시간은 이보다 깁니다.
  • 평소 동시 요청 수: 동시 2개는 Strata가 "16GB 카드에는 1개가 맞음"이라고 경고하고, 전문가 층을 덜 올려서 동시 1개 배치(전문가 6GB)보다 출력이 느렸습니다(69.6~74.7 대 97.1 tok/s). 그래서 평소에는 1개로 두고, 채팅 채널 중 하나라도 "모든 메시지에 대답"일 때만 2개 이상으로 합니다(사용자 결정, 2026-11-10).

세 번째 실행(LLM만, 게임 중 후보는 모두 동시 1개, 이미지 CPU, CPU 작업자 8개):

배치 출력 tok/s 음성 첫 문장 맥락 4.8천 토큰 첫 토큰 모델 VRAM 게임에 남는 VRAM
평소(동시 1개, 이미지 GPU) 85.0 / 되돌린 뒤 94.1 0.39초 / 0.36초 1.6초 / 1.3초 13.8GB / 14.4GB 0.6GB
전문가 2GB, 맥락 32K 74.0 0.53초 1.1초 10.8GB 4.1GB
전문가 2GB, 맥락 16K 74.3 0.52초 1.1초 10.0GB 4.9GB
전문가 0GB, 맥락 16K 49.4 0.66초 1.1초 9.1GB 5.8GB

LLM과 STT를 함께 켠 측정(M0 gamemode_stt, 게임 없음). STT를 먼저 켜고, LLM을 재는 동안 STT는 10명 동시 전사를 쉬지 않고 되풀이합니다. 말 한 마디는 약 4~5초입니다:

배치 STT LLM 출력 tok/s 음성 첫 문장 맥락 4.8천 토큰 첫 토큰 10명 동시 전사 한 사람 전사 게임에 남는 VRAM
평소(동시 1개) GPU 33.8 1.65초 7.5초 2.6초 0.11초 0.4GB
평소(동시 2개) GPU 14.5 1.44초 2.3초 1.5초 0.16초 0.4GB
전문가 2GB, 맥락 16K GPU 23.7 1.29초 1.7초 1.2초 0.13초 2.6GB
전문가 2GB, 맥락 16K CPU(8개) 58.6 0.69초 1.5초 32.3초 3.0초 5.4GB
전문가 0GB, 맥락 16K GPU 18.0 1.30초 1.3초 1.1초 0.12초 3.6GB
전문가 0GB, 맥락 16K CPU(8개) 36.3 0.92초 1.5초 35.5초 3.0초 6.3GB

실제 게임을 켠 측정(M0 gamemode_live, 창 모드 게임 플레이 중). 엔진을 켜기 전 VRAM 사용량은 게임 포함 3.24.6GB였습니다(게임 없을 때 0.71.9GB). 배치 전환은 43~47초:

배치 STT LLM 출력 tok/s 음성 첫 문장 맥락 4.8천 토큰 첫 토큰 10명 동시 전사 한 사람 전사 게임에 남는 VRAM
전문가 2GB, 맥락 16K GPU 19.3 (최저 9.4) 1.05초 2.3초 3.0초 (최대 7.0초) 0.19초 0.5GB
전문가 2GB, 맥락 16K CPU(8개) 38.4 0.96초 1.6초 36.8초 3.3초 3.0GB
전문가 0GB, 맥락 16K GPU 9.3 1.95초 2.9초 1.6초 0.17초 1.2GB
전문가 0GB, 맥락 16K CPU(8개) 25.4 1.12초 1.7초 35.1초 3.8초 4.0GB
  • STT 몫은 추정과 같습니다. STT를 GPU에 두면 10명 동시 전사 때 VRAM이 2.7GB 더 올라갑니다(LLM이 쓰는 양에서 최대치까지). 게임 몫은 추정(0GB 3.1GB, 2GB 2.2GB)보다 조금 많은 3.6GB와 2.6GB였습니다.
  • STT와 LLM이 GPU 계산을 두고 다툽니다. STT가 10명 동시 전사를 쉬지 않고 돌리면 LLM 출력이 1/2.51/3로 줄고(평소 85→34, 전문가 2GB 74→24, 0GB 49→18 tok/s) 음성 첫 문장이 1.31.7초로 기준(0.7초)을 넘습니다. STT 쪽은 함께 돌아도 한 사람 0.110.19초로 버팁니다. 10명이 쉬지 않고 말하는 최악의 경우이지만, 부분 전사를 0.30.5초마다 하므로 여러 명이 동시에 말하면 비슷한 부하가 됩니다. 그래서 게임 중에 LLM이 답을 만드는 동안에는 부분 전사를 줄이고, 말이 끝난 뒤의 최종 전사는 기다리지 않고 바로 처리합니다. 게임이 없을 때는 부분 전사를 줄이지 않습니다(사용자 결정, 2026-11-10, voice-and-llm.md). M0 gamemode_tune 측정으로 게임 중 LLM이 답하는 동안에는 부분 전사를 멈추기로 정했습니다(2초 간격보다 LLM 출력과 최종 전사 대기가 모두 나음, 아래 측정 결과).
  • 평소 배치는 STT 자리를 남기지 않습니다. 평소(동시 1개) 배치는 Strata 자동 배치가 VRAM을 전문가 층으로 채워서, STT를 함께 돌리면 16.3GB 중 15.9GB까지 찼습니다(남은 VRAM 0.4GB). 이때 맥락 첫 토큰이 7.5초로 늘었습니다(혼자일 때 1.6초). VRAM이 거의 찬 것이 원인이라는 것은 가설입니다. 같은 측정에서 STT의 GPU 계산도 함께 돌았으므로 둘을 나눠 재지 않았습니다. qwen36 엔진은 --vram-reserve-mib를 받지 않으므로(엔진 기록: "not an option of this engine") 평소 배치도 STT 몫을 빼고 --expert-vram을 정합니다(사용자 결정, 2026-11-10, 식). STT 몫과 다른 프로그램용 여유 1GB를 빼고 계산한 평소 배치는 이 PC에서 전문가 1.5GB였고, STT와 함께 돌려도 맥락 첫 토큰이 1.9초로 돌아왔습니다(M0 gamemode_tune, 아래 측정 결과).
  • 실제 게임에서는 전문가 2GB가 0GB보다 빠릅니다: STT GPU일 때 2.1배(19.3 대 9.3 tok/s), STT CPU일 때 1.5배(38.4 대 25.4 tok/s). 0GB는 전문가 층을 모두 CPU로 계산하므로 게임과 CPU를 함께 쓰는 것이 원인으로 보이지만, 따로 나눠 재지는 않았습니다(추정). 0GB가 더 비우는 VRAM은 약 0.9GB입니다. 이번 게임은 VRAM을 약 2~3GB 썼고 네 배치 모두 켜졌지만, 전문가 2GB에 STT GPU면 남는 VRAM이 0.5GB로 빠듯했습니다.
  • 재지 않은 것: LLM과 STT가 게임 화면 프레임에 주는 영향(키트는 게임 화면을 보지 않음). 측정한 사용자 느낌으로는 가끔 프레임이 떨어졌지만 크게 문제되지 않았습니다(2026-11-10).

자동 조절 측정 (M0 gamemode_tune, 2026-11-11)

게임 없이 잼. 평소 배치는 STT 몫과 다른 프로그램용 여유 1GB를 남겨 식으로 정한 전문가 1.5GB(층마다 256개 중 5개), 맥락 32K, 동시 1개, 이미지 GPU. 게임 중 배치는 전문가 2GB, 맥락 16K, 이미지 CPU, CPU 작업자 8개. "STT 쉬지 않음"은 10명 동시 전사를 쉬지 않고 되풀이하는 최악의 경우이고, "2초"는 부분 전사(10명 동시)를 2초마다 하고 최종 전사(한 사람)는 0.5초마다 하는 경우입니다. 출력 속도는 세 번 잰 중앙값입니다:

배치 STT GPU 95% 제한 LLM 출력 tok/s 음성 첫 문장 맥락 4.8천 토큰 첫 토큰 GPU 사용률 중앙값 남는 VRAM
평소 쉬지 않음 없음 24.8 1.27초 1.9초 96% 1.8GB
평소 쉬지 않음 있음 23.4 1.24초 1.9초 98% 1.8GB
평소 끔 없음 64.4 0.51초 1.1초 40% 4.6GB
평소 끔 있음 59.5 0.55초 1.1초 39% 4.6GB
게임 중 쉬지 않음 없음 25.0 1.28초 1.7초 98% 2.2GB
게임 중 부분 전사 2초 없음 37.5 0.89초 1.4초 87% 2.2GB
게임 중 부분 전사 2초 있음 33.7 0.77초 1.7초 84% 2.2GB
게임 중 최종 전사만 없음 64.9 0.55초 1.2초 78% 3.5GB
  • 평소 배치의 STT 자리와 여유 1GB는 계산대로 남습니다. STT가 10명 동시 전사로 VRAM을 가장 많이 쓸 때도 1.8GB가 남았고(여유 1GB와 엔진 여유분 768MiB를 더한 값과 같음), 맥락 첫 토큰은 자동 배치 때의 7.5초에서 1.9초로 줄었습니다. 대신 LLM만 돌 때 출력은 64.4 tok/s로 자동 배치(85.0)보다 느리지만 기준(30 tok/s, 0.7초) 안입니다. 전문가 몫이 1.5GB라 이전 추정(약 2GB, 74 tok/s)보다 조금 작게 나왔습니다.
  • 게임 중 LLM이 답하는 동안 부분 전사를 멈추면 2초 간격보다 훨씬 빠릅니다(37.5→64.9 tok/s, 음성 첫 문장 0.89→0.55초). 2초 간격은 음성 첫 문장 기준(0.7초)을 넘고, 최종 전사가 부분 전사 뒤에서 기다리는 시간도 중앙값 0.13초, 최대 1.2초였습니다(멈추면 0.001초). 그래서 게임 중에는 답하는 동안 부분 전사를 멈춥니다. 그동안은 GUI 실시간 자막이 바뀌지 않습니다. 같은 게임 중 배치를 STT 없이 잰 값은 이번 측정에 없습니다(이전 gamemode 측정은 74.3 tok/s였지만 다른 실행이라 바로 비교하지 않음).
  • 부분 전사를 멈췄을 때의 실제 최종 전사 지연은 아직 재지 않았습니다. 이번 키트의 최종 전사는 45초짜리 고정 샘플 하나를 beam 1로 받아 적은 것(중앙값 0.13초)입니다. 설계의 최종 전사는 beam 23이고, 부분 전사 없이 긴 말을 한 번에 받아 적는 경우도 재지 않았습니다. 이 지연은 M1 음성 워커를 만들 때 잽니다.
  • GPU 95% 제한은 GPU를 비우지 못했습니다. 엔진과 STT는 200ms마다 정한 대로 멈췄고(멈춘 시간 5.2%, 다시 돌리기 실패 0번) 둘 다 오류 없이 이어서 돌았습니다. 하지만 사용률은 내려가지 않았고, 95%를 넘은 표본 비율도 51%(평소, STT 쉬지 않음)로 남았습니다. 출력은 6~10% 느려졌습니다(64.4→59.5, 24.8→23.4, 37.5→33.7 tok/s). 세 번만 잰 값이라 속도 차이에는 흔들림이 있습니다. LLM만 돌 때는 제한이 없어도 사용률 중앙값이 40%라 GPU가 이미 비어 있습니다. 그래서 기본값을 끔으로 바꿨고(사용자 결정, 2026-11-11), 영상 끊김을 video_drops로 따로 잰 뒤 설정을 뺐습니다(아래 측정 결과).
  • 평소에 여러 명이 쉬지 않고 말하면 음성 첫 문장이 기준을 넘습니다(1.27초, 출력 24.8 tok/s). 게임이 없을 때는 부분 전사를 줄이지 않기로 했으므로(사용자 결정, 2026-11-10) 이 최악의 경우에는 답이 늦어집니다.

영상 끊김 측정 (M0 video_drops, 2026-11-11)

게임 없이 잼. 유튜브 영상을 1080p 60fps로 틀어 두고 창마다 약 1분씩 잼(Jarvis가 바쁠 때는 53~56초). 평소 배치(전문가 1.3GB, 맥락 32K, 동시 1개, 이미지 GPU)이고, "바쁨"은 LLM이 답을 만들면서 STT가 10명 동시 전사를 쉬지 않고 되풀이하는 최악의 경우입니다. 끊긴 프레임은 브라우저가 센 값(getVideoPlaybackQuality)이고, 긴 멈춤은 화면에 나간 프레임 사이 간격(requestVideoFrameCallback)입니다:

Jarvis GPU 95% 제한 끊긴 프레임 분당 50ms 넘는 멈춤 가장 긴 간격 버퍼링 GPU 사용률 중앙값 LLM 출력 tok/s 음성 첫 문장
끔 없음 3 / 3600 3.0 0 24ms 0 2% - -
쉼 없음 3 / 3600 3.0 0 24ms 0 2% - -
바쁨 (두 번) 없음 7 / 6384 3.9 0 30ms 0 87%, 98% 21.0, 21.3 1.18초, 1.25초
바쁨 (두 번) 있음 7 / 6740 3.7 0 25ms 0 98%, 95% 20.5, 20.9 1.04초, 0.92초
끔 (다시) 없음 3 / 3600 3.0 0 24ms 0 2% - -
  • Jarvis는 영상을 끊지 않았습니다. GPU를 98%까지 써도 끊긴 프레임은 창마다 3~4개로 Jarvis를 끈 때(3개)와 같았고, 50ms를 넘는 멈춤과 버퍼링은 한 번도 없었습니다. Jarvis를 끈 창에서도 처음과 끝 모두 3개가 나와서, 이 정도 끊김은 Jarvis가 아니라 재생 자체에서 생기는 것으로 봅니다(추정).
  • 95% 제한은 끊김을 줄이지 못했습니다(창 두 개 합계 7개 대 7개). 그래서 설정을 뺐습니다(위).
  • 재지 않은 것: 게임 중, 게임과 영상을 함께 켠 경우, 이 PC(RTX 5070 Ti 16GB) 말고 다른 그래픽카드. 영상은 GPU의 영상 전용 회로로 풀리므로 LLM·STT 계산과 덜 부딪혔을 수 있습니다(추정).

게임 프레임 측정 (M0 game_frames, 2026-11-11)

게임을 켜고 캐릭터를 한자리에 세워 둔 채로 창마다 1분씩 잽니다. 순서는 게임만 → Jarvis를 켜 두고 쉼 → Jarvis 바쁨 → 바쁨+양보 → 바쁨+양보 → 바쁨 → 다시 게임만입니다(바쁨 줄은 A B B A 순서라 천천히 바뀌는 장면 탓이 한쪽에만 쌓이지 않음). Jarvis는 게임 중 배치(전문가 2GB, 맥락 16K, 음성 인식 GPU)이고, "바쁨"은 LLM이 쉬지 않고 답하고 음성 인식이 정한 대로 최종 전사만 하는 상태입니다. 프레임 시간은 PresentMon(인텔의 공개 도구, 버전과 해시 고정)으로 게임 프로세스 하나만 기록하고, 게임 이름이 든 원본 기록은 읽자마자 지웁니다. Windows 이벤트 기록을 쓰므로 관리자 권한이 필요하고, 게임을 켜기 전에 한 번만 묻습니다. 프레임 수와 간격은 화면이 실제로 바뀐 시각으로 셉니다. 양보 창에서는 Jarvis 프로세스 모두의 CPU·GPU 우선순위가 실제로 낮아졌는지 다시 읽어서 확인하고, 하나라도 낮아지지 않았으면 그 창을 비교에서 뺍니다. 프레임 기록이 실패하거나 중간에 끊긴 창, LLM이 답을 하나도 끝내지 못한 바쁨 창, 음성 인식 부하가 실패한 바쁨 창도 뺍니다. 게임이 거의 그려지지 않은 창(1초에 5프레임 미만)은 Jarvis가 꺼져 있거나 쉴 때만 뺍니다. Jarvis가 바쁠 때 그렇게 떨어지면 그것이 바로 재려는 피해이기 때문입니다.

게임은 fps 제한(약 163fps)이나 CPU에 막혀 GPU를 42%만 쓰는 상태였습니다(이름은 기록하지 않음). Jarvis 쪽은 Qwen3.6-35B-A3B UD-Q4_K_XL입니다.

창 Jarvis 평균 fps 1% low 50ms 넘는 프레임 100ms 넘는 프레임 GPU 사용률 중앙값 LLM 출력 tok/s 음성 첫 문장 비교
게임만 끔 162.3 82.2 0 0 42% - - 셈
켜 두고 쉼 쉼 101.3 45.3 3 0 21% - - 뺌: 게임이 뒤에 있었음
바쁨 바쁨 58.0 28.9 3 0 73% 35.8 0.80초 뺌: 게임이 뒤에 있었음
바쁨+양보 양보 58.0 28.9 3 0 78% 27.4 1.01초 뺌: 게임이 뒤에 있었음
바쁨+양보 양보 144.2 44.2 6 1 72% 26.6 1.05초 뺌: 창 중간에 게임으로 돌아온 것으로 봄
바쁨 바쁨 162.0 80.8 0 0 73% 25.5 1.06초 셈
게임만 (다시) 끔 162.5 84.9 0 0 41% - - 셈
  • Jarvis가 바빠도 게임 화면은 끊기지 않았습니다. 게임이 앞에 있던 바쁨 창은 게임만 켠 두 창(평균 162.4fps, 1% low 83.6)보다 평균 fps 0.2%, 1% low 3.3% 낮았고 50ms 넘는 프레임은 0개였습니다. GPU 사용률이 42%에서 73%로 올라도 게임 몫이 남았습니다. 미리 정한 기준(5% 넘게 떨어지지 않고 긴 프레임이 늘지 않으면 아무것도 더하지 않음)에 들어서 양보는 넣지 않습니다.
  • Jarvis를 켠 직후 게임 창이 3분 넘게 뒤로 가 있었습니다. 사용자가 로그를 보려고 측정 콘솔 창을 누른 것이었고, Jarvis가 창을 앞으로 가져온 것은 아닙니다(사용자 확인, 2026-11-11). 그동안 게임은 뒤에 있는 창의 속도(약 58fps)로만 그렸습니다. 키트가 창이 끝날 때만 게임이 앞에 있는지 봐서, 창 중간에 게임으로 돌아온 다섯 번째 창(평균 144fps는 약 10초를 58fps로 그린 값과 맞고, 120ms 프레임 한 개는 창 전환으로 봄, 추정)을 유효로 셌습니다. 그 창의 "양보하면 1% low −47%"는 양보 탓이 아니므로 판단에서 뺐습니다. 키트는 이제 창 내내 1초마다 게임이 앞에 있는지 보고, 한 번이라도 뒤로 가면 그 창을 뺍니다. 창을 시작하기 전에 게임이 앞에 없으면 알림음과 함께 돌아가 달라고 말하고 최대 2분 기다린 뒤 잽니다. 무엇이 앞에 있었는지는 "Jarvis 프로세스, 콘솔 창, 탐색기, 다른 앱" 가운데 하나로만 남깁니다.
  • 한계: 유효한 바쁨 창은 하나뿐이고 양보 창은 유효한 것이 없습니다. 게임이 GPU를 다 쓰지 않는 상태였으므로, GPU를 꽉 채우는 게임에서는 결과가 다를 수 있습니다. 그런 게임에서 끊김이 보이면 고친 키트로 다시 재고 같은 기준으로 양보를 정합니다.

화면 보기: 전체 화면, 모니터별, 프로그램(창)별

  • Windows Graphics Capture API로 다음을 볼 수 있습니다.
    • 전체 화면: 모니터 여러 대를 한 장으로 이어 붙인 화면
    • 모니터별 화면: 1번, 2번, 3번 모니터를 따로
    • 프로그램(창)별 화면: 켜져 있는 창 하나하나. 다른 창에 가려져 있어도 캡처됩니다.
  • 자비스에게는 "화면 보기" 도구로 연결합니다. "2번 모니터 뭐 떠 있어?", "크롬 창 내용 읽어 줘"처럼 물으면 해당 화면을 캡처해 이미지로 판단합니다.
  • GUI 미리보기에서도 같은 대상을 고를 수 있습니다.
  • 캡처 제외 목록: 은행, 비밀번호 관리자처럼 봇이 보면 안 되는 프로그램을 지정합니다. 그 창은 캡처하지 않고, 전체 화면 캡처에서도 가립니다.
  • 안 보이는 경우: 최소화된 창, 저작권 보호 영상(넷플릭스 등), 일부 게임의 독점 전체화면은 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다. 캡처가 실패하면 자비스가 "그 화면은 볼 수 없다"고 그대로 말합니다.

화면 질문을 빠르게

"2번 화면에 뭐 떠 있어?"에서 시간이 드는 곳은 세 군데입니다. 셋 다 줄입니다.

  1. 화면 캡처
  2. 이미지 줄이기·변환
  3. LLM이 이미지를 읽는 시간
방법 내용
캡처 미리 준비 캡처 세션은 새로 열 때 시간이 걸립니다. 그래서 누군가 말을 시작하면(음성 감지 시점) 모니터별 캡처 세션을 미리 열어 두고, 각 모니터의 가장 최근 한 장만 GPU 메모리에 들고 있습니다. 질문이 끝났을 때는 이미 있는 한 장을 꺼내기만 하면 됩니다. 말이 끝나고 일정 시간 질문이 없으면 세션을 닫습니다. 설정: 말하는 중에만(기본) / 항상 / 끔. 미리 잡아 둔 화면은 메모리에만 있고 저장하거나 밖으로 보내지 않으며, 계속 새 화면으로 덮어씁니다.
GPU에서 바로 줄이기 4K 원본을 CPU로 옮기지 않고 GPU에서 모델이 읽기 좋은 크기로 줄인 뒤 JPEG로 만듭니다. 캡처 제외 프로그램 가리기도 이 단계에서 같이 합니다.
화질 단계 빠름(긴 변 약 768px) / 보통(약 1280px, 기본) / 자세히(원본을 나눠서 여러 장). 이미지가 작을수록 LLM이 읽는 양이 줄어 빨라집니다. "글자 읽어 줘"처럼 세밀한 질문이면 AI가 스스로 "자세히"를 고릅니다.
도구 호출 한 번으로 AI가 "화면 보기" 도구를 부르면 캡처 이미지를 바로 같은 대화에 붙여 이어서 답합니다. LLM 엔진이 지원하면 고정된 앞부분(시스템 프롬프트 등)은 다시 계산하지 않게 캐시합니다.
창 단위로 좁히기 "크롬 창"처럼 창을 말하면 모니터 전체가 아니라 그 창만 캡처합니다.
답도 문장 단위로 이미지를 읽은 뒤 답의 첫 문장이 나오면 바로 읽기 시작합니다.
단계 (질문이 끝난 뒤) 목표
최근 화면 꺼내기 + 줄이기·JPEG 50ms 이내
AI가 "화면 보기" 도구 고르기 100~250ms
LLM이 이미지 읽기 (보통 화질) 300~800ms
첫 문장 + TTS 일반 질문과 같음
합계 일반 질문보다 0.51초 더, 약 1.52.5초

확인이 필요한 점: 이미지를 읽으려면 LLM이 이미지 입력을 지원해야 합니다. M0에서 다음을 잽니다.

  • 모델의 이미지 입력 지원
  • Strata의 이미지 입력 지원
  • 화질 단계별 실제 시간

못 읽으면 작은 이미지 전용 모델을 하나 더 올리는 예비안을 쓰고, VRAM 배분을 다시 계산합니다. Windows 11에서는 캡처할 때 노란 테두리가 뜨지 않게 설정합니다.

키보드·마우스 제어와 안티치트

  • 프로그램 조작은 agent-desktop(Apache-2.0, Windows UI Automation)으로 합니다. 앱 설치 파일에 실행 파일(약 4MB)을 함께 넣습니다.
    • 창의 버튼·입력칸·메뉴 목록을 글자로 읽고, 고른 항목을 직접 누르거나 값을 넣습니다. 화면 좌표를 쓰지 않으므로 해상도·배율·창 위치가 바뀌어도 맞게 누릅니다.
    • 기본은 마우스 커서를 움직이지 않고 포커스도 가져오지 않습니다. 사용자가 다른 창에서 작업하는 중에도 뒤에 있는 창을 조작할 수 있습니다. 최소화된 창은 조작하지 못하므로 먼저 되돌립니다.
    • 누르거나 넣은 뒤 화면을 다시 읽어 결과를 확인하고, 확인된 것만 "했습니다"라고 말합니다.
    • Alt+F4, Win+R, Ctrl+Shift+Esc 같은 위험 단축키는 agent-desktop이 기본으로 막습니다. 이 막음을 푸는 옵션(--force)은 쓰지 않습니다.
    • 관리자 권한으로 실행된 창은 Windows가 막아서 조작하지 못합니다. 그때는 못 한다고 답합니다.
  • 접근성 정보가 없는 화면(게임, 그림으로만 그린 화면)에만 Windows 입력 API로 실제 키보드·마우스를 넣습니다. 이때는 커서와 포커스가 움직입니다.
  • 두뇌에는 도구 하나(창 목록, 실행, 화면 항목 읽기, 누르기, 값 넣기, 키 누르기, 닫기)로만 보여 줍니다. agent-desktop의 MCP 서버를 그대로 붙이면 도구가 67개라 작은 모델이 고르기 어렵기 때문입니다. 실제 호출과 허용 범위·안티치트·비상 정지 검사는 PC 제어 모듈이 합니다.
  • PC 제어 모듈이 agent-desktop을 계속 켜 두고 쓸지(MCP 서버), 매번 실행할지는 M0 desktop 단계에서 잰 속도로 정합니다.
  • 읽은 화면 글자는 PC 안의 LLM에만 들어가고 로그와 결과 파일에는 남기지 않습니다. 로그에는 동작 이름과 결과 코드만 적습니다.
  • 자비스가 직접 조작할 때는 허용 범위와 위험 동작 확인을 거칩니다. 파일 삭제, 결제, 전송 등은 음성/GUI로 한 번 더 확인합니다.
  • 비상 정지 단축키를 누르면 모든 자동 조작이 즉시 멈춥니다.

안티치트 게임 실행 중에는 제어를 막습니다

발로란트(Vanguard) 같은 커널 안티치트는 프로그램이 넣는 입력을 감지해 계정을 제재할 수 있습니다. 그래서 안티치트가 걸린 게임이 실행 중이면 키보드·마우스 조작 요청을 받아도 아무것도 입력하지 않습니다. 음성, 채팅, GUI 조작 모두 같습니다. 대신 이렇게 안내합니다.

뱅가드가 적용된 게임(VALORANT)이 실행 중이어서 키보드/마우스 제어를 할 수 없습니다.

  • 안티치트 이름과 게임 이름은 실제로 감지한 것으로 바뀝니다.
  • 음성으로 시켰으면 음성으로, 채팅으로 시켰으면 채팅으로 답하고, GUI에도 표시합니다.
  • 게임을 끄면 다시 제어할 수 있습니다.
  • 화면 보기는 화면을 읽기만 하므로 그대로 됩니다.
안티치트 (기본 목록) 감지 방법
뱅가드 (Vanguard) 뱅가드 드라이버는 PC를 켤 때부터 항상 올라와 있습니다. 그래서 드라이버가 아니라 Riot 게임 프로세스(VALORANT, 리그 오브 레전드)가 실행 중인지로 판단합니다.
Easy Anti-Cheat, BattlEye, FACEIT AC, nProtect GameGuard, XIGNCODE3 등 게임과 함께 실행되는 안티치트 프로세스·서비스가 떠 있는지로 판단합니다.
목록에 없는 게임 PC 제어 화면에서 "이 게임은 안티치트 있음"으로 직접 추가합니다. 감지를 끄는 우회 설정은 만들지 않습니다(계정 정지 위험).

정확한 프로세스 이름 목록은 M0에서 게임PC에 설치된 게임으로 확인하고, 앱 업데이트로 늘려 갑니다.

봇용 크롬창과 디스코드 화면공유

셀프봇 Go Live 송출은 v2에서 뺍니다. 대신 봇이 쓰는 크롬창을 사용자가 디스코드 앱에서 직접 화면공유할 수 있게 합니다.

  • GUI 설정 "봇용 크롬창 화면공유 선택 표시":
    • 켜짐: 봇용 크롬창이 있는 가상 모니터가 디스코드 "화면 공유 → 화면" 탭에 나타납니다(아래 가상 모니터 방식).
    • 꺼짐(기본): 봇용 크롬창은 화면 없이(백그라운드) 돌고, 디스코드 목록에도 나오지 않습니다.
  • Alt+Tab, Win+Tab, 작업 표시줄에는 항상 안 보입니다. 켜짐 상태에서도 창을 "도구 창" 속성으로 바꿔 창 전환 목록에서 빼고, 다른 창들 뒤(맨 아래)에 둡니다.
  • 크롬은 가려진 창의 그리기를 멈추는 기능이 있습니다. 봇용 크롬은 이 기능을 끄고 실행해서, 다른 창 뒤에 있어도 화면공유 영상이 멈추지 않게 합니다.

먼저 확인할 점: 디스코드가 화면공유 목록을 Alt+Tab과 같은 기준으로 거르면, 도구 창 속성 때문에 목록에서도 빠질 수 있습니다. M0 확인 스크립트에서 가장 먼저 봅니다.

M0 결과: 도구 창으로 바꾸면 디스코드 "창" 목록에서도 빠졌습니다. 그래서 아래 가상 모니터 방식으로 갑니다(사용자 선택: 두 번째 모니터에도 보이지 않게).

가상 모니터 방식: 가상 모니터를 하나 만들고 봇용 크롬을 그 모니터에 둡니다.

  • 가상 디스플레이 드라이버는 앱 설치 파일에 들어 있어야 합니다(다른 프로그램 설치를 전제로 하지 않음). 오픈소스 Virtual Display Driver(MIT, SignPath 재단 서명)를 함께 넣고, 앱이 가상 모니터를 켜고 끕니다(사용자 선택). 드라이버의 모니터 수는 0으로 두어도 하나가 생겨서, 모니터 하나를 두고 쓰는 동안에만 바탕 화면에 붙였다가 떼는 방식으로 켜고 끕니다(붙이고 떼는 데는 관리자 권한이 필요 없음). 설치 때 관리자 권한을 한 번 묻고(설치 승인받음), Windows가 "SignPath Foundation의 장치 소프트웨어를 설치할까요?"를 한 번 더 묻습니다. 드라이버 설정은 드라이버(시스템 서비스)가 데이터 폴더를 읽을 수 없어 %ProgramData%\JarvisBot\display-driver에 둡니다. 다른 프로그램이 같은 드라이버를 이미 깔아 두었으면 설치하지 않고 그 모니터도 건드리지 않습니다. 대상은 x64 Windows 10/11(S 모드 제외)입니다. 자세한 동작은 app/src/admin.spec.md "Virtual monitor".
  • 앱이 꺼질 때는 봇용 크롬을 먼저 닫습니다. 가상 모니터가 먼저 사라지면 그 위의 창이 실제 모니터로 옮겨질 수 있기 때문입니다.
  • M0 vdisplay 단계(Parsec 드라이버로 하는 개념 확인)는 돌리지 않기로 했습니다(사용자 결정). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치는 M6에서 함께 넣을 드라이버로 직접 확인합니다. 드라이버 설치 시험은 게임PC가 아니라 서버의 Windows 가상머신에서 먼저 합니다.
  • 마우스가 가상 모니터로 넘어가지 않도록, 실제 모니터와 구석 한 점만 닿게 배치합니다.
  • 디스코드에서는 "화면" 탭에서 그 가상 모니터를 고릅니다.
  • Alt+Tab에서는 그대로 빠지고, 실제 모니터에도 보이지 않습니다.
  • 크롬 창을 처음부터 띄우면 사용자가 하던 게임의 포커스를 가져갈 수 있어서, 창 없이 켠 뒤 앱이 CDP로 창을 뒤에서 엽니다. Windows가 가상 모니터에도 작업 표시줄을 두면 페이지 아래를 가리지 않게 창을 작업 영역에 맞춥니다.
  • 서버 Windows 가상머신 확인(2026-11-14): 드라이버 설치(SignPath 질문 한 번)와 제거(장치·드라이버 패키지·레지스트리·설정 폴더 남지 않음), 설치 직후 모니터 꺼짐, 봇용 크롬을 켜는 동안만 실제 모니터 오른쪽 아래 구석(1024,768)에 1280x720으로 켜짐, 크롬 창 하나가 그 모니터의 작업 영역을 채우고 봇의 탭도 그 창에 열림, 메모장에 입력하는 동안 포커스를 뺏지 않음, 작업 표시줄에 버튼 없음, 정지 뒤 크롬 프로세스 0개와 모니터 꺼짐. 남은 확인: 디스코드 "화면" 탭에 그 모니터가 나오고 공유되는지, 커서, 게임PC(실제 GPU)에서의 동작.

다른 사람의 디스코드 화면공유 보기 (창 분리 방식)

쓰지 않는 방법: discord.exe의 앱 데이터에서 로그인 토큰을 꺼내 쓰는 방식은 하지 않습니다.

  • 디스코드 약관 위반이라 계정이 정지될 수 있습니다.
  • 백신이 토큰 탈취 악성코드로 탐지하는 동작과 같습니다.
  • 토큰이 새면 계정 전체가 넘어갑니다.

공식 봇 계정은 원래 화면공유 영상을 받을 수 없습니다.

쓰는 방법: 화면공유 창을 분리(팝아웃)해서 그 창만 캡처합니다.

디스코드 앱에는 시청 중인 화면공유를 별도 창으로 떼어 내는 "팝아웃" 기능이 있습니다. 분리된 창에는 채팅·멤버 목록이 섞이지 않고 공유 화면만 담겨 있습니다. 그래서 그 창만 캡처하면 이미지가 작고 깨끗해서 빠르고 정확합니다. 계정이나 토큰은 건드리지 않습니다.

  1. "철수 화면 뭐 하고 있어?"라고 물으면 앱이 분리된 화면공유 창이 있는지 찾습니다.
  2. 없으면 자비스가 "디스코드에서 철수님 화면공유를 창 분리(팝아웃)해 주세요."라고 말하고 기다립니다(기본 30초). 아직 시청 중이 아니면 먼저 시청을 눌러 달라고 안내합니다. 자비스가 디스코드 앱을 직접 눌러 창을 분리하지는 않습니다. 디스코드 화면 배치가 바뀌면 자동 조작이 깨지기 쉽기 때문입니다.
  3. 분리된 창이 나타나면 그 창만 캡처해서 답합니다. 한 번 분리해 두면 이후 질문은 기다리지 않고 바로 답합니다.
  4. 디스코드는 화면공유 분리 창을 하나만 만들 수 있고, 그 창 안에서 어떤 사람의 화면공유를 볼지 고릅니다. 창 제목에는 음성 채널 이름만 들어가서 지금 누구 화면이 나오는지는 제목으로 알 수 없습니다(M0 결과). 그래서 누가 화면공유 중인지는 봇이 음성 채널 상태로 확인합니다.
    • 물어본 사람(철수)이 화면공유 중이 아니면 캡처하지 않고 "철수님은 지금 화면공유 중이 아닙니다."라고 답합니다.
    • 철수님이 화면공유 중이면 분리 창에 나오는 화면을 바로 캡처해 답합니다. 공유자가 여러 명이어도 따로 묻지 않습니다. 사용자가 분리 창을 띄워 달라고 할 때는 이미 그 사람 화면을 보고 있기 때문입니다(사용자 결정).
    • 질문에 이름이 없으면("지금 화면 뭐야?") 분리 창에 나오는 화면을 그대로 봅니다.

M0 결과:

  1. 분리 창은 새로 생긴 디스코드 창(Chrome_WidgetWin_1)으로 찾을 수 있었습니다. 창 제목에는 공유자 이름이 없고 음성 채널 이름만 있습니다. 분리 창은 하나뿐이라 찾은 창을 그대로 쓰면 됩니다.
  2. 분리된 창이 다른 창에 완전히 가려져도 영상은 계속 그려졌습니다(캡처 22장 모두 달랐고 검은 화면 없음). 다른 모니터로 옮겨 둘 필요가 없습니다.

최소화하면 캡처가 안 되므로 그때는 창을 다시 열어 달라고 안내합니다.

백그라운드 크로미움으로 정보 수집

  • 봇용 크롬(데이터 폴더 안)을 크롬 개발자 프로토콜(CDP)로 조종합니다. 웹 검색, 페이지 읽기, 예약 수집에 씁니다.
  • 기존 webSearch 도구의 보안 장치를 그대로 가져갑니다. 내부망 접근을 막고, 웹 내용은 명령이 아닌 데이터로 다룹니다.
  • 예약 수집은 기능 틀(사이트·검색어·RSS를 주기적으로 모으는 기능)만 만들고 수집 대상은 비워 둡니다. 수집 결과는 데이터 폴더에만 저장합니다.