feat: screen viewing, Jarvis sees the whole screen, a monitor or a window for registered people

- screenView tool (screen_view.spec.md): whole screen, monitor by number, window by part of its
  title or program, or the list of monitors and windows; fast, normal or detailed pictures.
- The app captures with Windows Graphics Capture (app/src/screen.rs, admin.spec.md "Screen
  viewing"), decides for the asker (only people registered for PC control), never picks, lists
  or shows excluded programs (pcControl.screenExclude, password managers by default), refuses
  minimised windows and black pictures, and records screen.view in the activity log.
- Pictures ride on the tool message (ToolExecutionResult.images); llm.py sends them to
  OpenAI-compatible servers as image parts after the tool messages. They stay in that reply only:
  not in the tool carryover, logs or prompt dumps.
- The LLM reads pictures only when screen viewing is available (--vision gpu normally, cpu in a
  game), measured apart for the placement; otherwise screenView is a disabled tool.
- Worker: screen_action / screen_action_result, 4 MiB messages.
- Eval evals/test_screen_view_tool.py; Windows check tests/screen_windows.rs.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
javis-bot
2026-11-15 17:02:59 +09:00
parent bd7b69d4f4
commit 53bccb620d
39 changed files with 1844 additions and 68 deletions

View File

@@ -187,6 +187,7 @@ LLM과 STT를 함께 켠 측정(M0 `gamemode_stt`, 게임 없음). STT를 먼저
- GUI 미리보기에서도 같은 대상을 고를 수 있습니다.
- **캡처 제외 목록**: 은행, 비밀번호 관리자처럼 봇이 보면 안 되는 프로그램을 지정합니다. 그 창은 캡처하지 않고, 전체 화면 캡처에서도 가립니다.
- **안 보이는 경우**: 최소화된 창, 저작권 보호 영상(넷플릭스 등), 일부 게임의 독점 전체화면은 검게 나올 수 있습니다. 게임은 테두리 없는 창 모드면 대부분 보입니다. 캡처가 실패하면 자비스가 "그 화면은 볼 수 없다"고 그대로 말합니다.
- **지금 구현(M7 1단계, 2026-11-15)**: 도구 `screenView`([screen_view.spec.md](../../src/jarvis/tools/builtin/screen_view.spec.md)), 앱 `app/src/screen.rs`([admin.spec.md](../../app/src/admin.spec.md) "Screen viewing"). 요청마다 캡처 세션을 새로 열고, 줄이기와 JPEG는 CPU에서 합니다. 아래 "화면 질문을 빠르게"의 캡처 미리 준비와 GPU에서 줄이기는 실제 게임PC에서 시간을 잰 뒤 필요하면 넣습니다. 봇용 크롬의 가상 모니터는 목록과 전체 화면에서 뺍니다(봇 브라우저는 `botBrowser`로 읽음). 화면 보기를 "먼저 묻기"로 두면 지금은 보지 않고, PC 제어 도구의 다음 말 확인과 함께 됩니다.
## 화면 질문을 빠르게

File diff suppressed because one or more lines are too long