Files
javis_bot/docs/v2/decisions.md
javis-bot ff78c0ac41 feat(app): the LLM always takes one request at a time, and only the latest call is answered by default
A chat channel answering every message no longer starts Strata with
--parallel 2: on the 16 GB card that read prompts about three times
slower (2026-11-16, answers took 10-20 s). Chat and voice answers now
take turns at Strata. response.policy defaults to latest.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-17 10:01:37 +09:00

16 KiB

결정 사항

확정된 것

항목 결정
게임PC 접근 방법 측정 스크립트를 사용자가 게임PC에서 직접 실행하고 결과를 보내 주는 방식
exe가 돌아가는 곳 게임PC 한 대에서만. 원격 관리 기능은 만들지 않음
백그라운드 수집 대상 기본은 비워 둠. 요청이 있을 때 추가
Go Live 송출(셀프봇) 뺌. 대신 봇용 크롬창 화면공유 선택 표시 설정 (pc-features.md)
저장소 처리 v1 마지막 상태(bb60c4d)를 원격 저장소 legacy 브랜치로 보존하고 같은 저장소에서 v2 시작. v1 README는 docs/v1/README.md로 옮김
관리 앱 언어 Rust. 화면(M5)은 Tauri 2로 Windows 기본 WebView2에 그림(2026-11-11, 사용자가 맡긴 판단). 같은 M2 음성 코어를 Electron과 Rust로 둘 다 만들어 실제 디스코드에서 비교함: 받아 적기·말하기·정지 결과는 같았고, Rust는 실행 파일 하나에 메모리 약 16MB(Electron은 프로세스 5개, 크로미움 GPU 프로세스 포함)라 게임과 함께 돌리는 이 앱에 맞음. 게임 감지, 화면 캡처, 입력, 프로세스 우선순위(M7)도 Windows API를 바로 부를 수 있음. 약점은 Rust 디스코드 음성 라이브러리(songbird)가 덜 검증된 점: DAVE 수신 해독 버그는 앱이 직접 해독해 피했고, 그룹이 바뀐 뒤 받기가 멈춘다는 보고(#310)는 들어왔다 나가기 3번 시험에서 재현되지 않음. 몇 시간짜리 시험에서 멈추면 그 부분만 discord.js 보조 프로세스로 돌리는 것을 예비안으로 둠 (architecture.md)
호출 방식 기본값 호출어로 부를 때만 응답
지정한 사람 설정 "지정한 사람만 응답"과 "지정한 사람은 호출어 없이 대답"을 각각 켜기/끄기. 기본은 둘 다 꺼짐 (conversation.md)
동시 대화 응답 정책 기본값 마지막 대화만(사용자 결정, 2026-11-17. 처음에는 처음 대화만)
"제일 중요한 대화" 판단 기준 사람별 우선순위 → 호출어로 직접 불렀는지 → LLM이 판단한 중요도
대화 기억 범위 기본값 본인 기록 + 등록한 채팅 채널 + 같은 음성 채널에 함께 있던 다른 사람 말. 채팅 채널과 다른 사람 말은 각각 켜기/끄기, 기본은 둘 다 켜짐 (memory.md)
가상 디스플레이 드라이버 필요해지면 설치. 설치 때 관리자 권한 1회. 우리 설치 파일 하나로 어느 PC에서나 돼야 하므로 Parsec 드라이버는 제품에 쓰지 않음(M0 개념 확인용으로만 사용). 대상은 x64 Windows 10/11(S 모드 제외). ARM64는 WHQL 서명이 필요해 범위 밖. 배포할 드라이버는 오픈소스 Virtual Display Driver(MIT, SignPath 재단 서명, IddCx)를 설치 파일에 함께 넣음(사용자 선택). 자체 드라이버는 만들지 않음
LLM 모델 Qwen3.6-35B-A3B(UD-Q4_K_XL) 하나만 씀(2026-11-10 사용자 결정). 권장 모델(Qwen3.8-Flash-Next)과 실험 모델(DeepSeek V4.1-Flash)은 뺌. 게임 중이나 PC 성능이 부족할 때는 모델을 바꾸지 않고 같은 모델의 배치와 부가 설정을 앱이 자동으로 바꿈 (pc-features.md)
게임 모드 테두리 없는 창 게임도 감지. 감지하면 같은 모델을 VRAM을 덜 쓰는 배치로 자동으로 바꿈(자동 성능 조절). 게임 중 일시정지만 켜기/끄기, 기본 꺼짐 (pc-features.md)
안티치트 안티치트 게임 실행 중에는 키보드·마우스 제어를 막고 안티치트 이름으로 안내
PC 프로그램 조작 agent-desktop(Apache-2.0, Windows UI Automation)으로 버튼·입력칸을 직접 누르고 값을 넣음. 접근성 정보가 없는 화면만 Windows 입력 API. 두뇌에는 동작 몇 개만 가진 도구 하나로 보여 줌. 명령마다 CLI를 실행하는 방식을 씀: M0에서 명령 한 번이 0.10초로 계속 켜 둔 MCP(0.09초)와 차이가 작고, 프로세스를 계속 들고 있을 필요가 없음 (pc-features.md)
다른 사람 화면공유 보기 자비스가 말로 창 분리(팝아웃)를 요청하고 분리된 창만 캡처. 디스코드 앱을 직접 조작하지 않음 (pc-features.md)
AI 채팅 채널 GUI에서 채널 ID·이름·설명 편집, AI가 읽기·보내기·수정 등 수행 (conversation.md)
먼저 챙기는 비서 (OpenAI dots 참고안) 제안 1~5를 추천 순서(1 예약 알림 → 3 세 단계 권한 → 5 한 일 기록 → 4 사람별 지침 → 2 수집 소식 알림)대로, 제안에 적은 기본값으로 만듦(2026-11-14 사용자 "추천대로", proactive.md). 1 예약 알림과 정기 작업 구현(2026-11-14)
PC 제어 기본 범위 행동별 세 단계 권한(제안 3): 자동(화면 보기, 창 목록) / 먼저 묻기(클릭, 입력, 프로그램 실행) / 늘 안 함, 바꿀 수 없음(결제, 비밀번호, 파일 삭제, 관리자 권한). 시킬 수 있는 사람은 관리 앱에 디스코드 아이디로 등록한 사람만(2026-11-14 사용자 결정, M7)
게임PC 가상 모니터 확인 게임PC에 Virtual Display Driver를 설치해 디스코드 "화면" 탭 공유를 확인해도 됨(2026-11-14 사용자 허락). 관리자 권한 창과 SignPath 확인 창은 사용자가 직접 누르므로, 사용자가 게임PC 앞에 있는 시간에 함께 진행하고 끝나면 앱의 제거 버튼으로 지움
게임PC GPU 사용 시간 정해 두지 않음. 사용자가 그때그때 "몇 시부터 몇 시까지 가능"이라고 알려 주면 그 시간에 게임PC GPU가 필요한 작업(측정, 평가, 실기 확인)을 함(2026-11-14 사용자 결정)
업데이트 배포 git.tkrmagid.kr 공개 저장소(tkrmagid/javis_bot)의 릴리스로 올림(2026-11-14 사용자 허락). 태그 app-v<버전>, 파일은 설치 파일과 .sha256 (admin.spec.md "Updates")
채팅 채널 이름·설명 반영 실제 디스코드 채널 이름·주제까지 바꿈. "디스코드에도 반영" 켜기/끄기, 기본 켜짐

M0 결과로 정한 기본값 (2026-11-10)

항목 결정
TTS MeloTTS만 기본 제공. CosyVoice2/3는 첫 소리까지 중앙값 3.4~3.6초라 뺌. 앱 시작 때 한 번 미리 합성(첫 합성 30초)
STT large-v3-turbo, int8_float16(모델 1.3GB, 10명 동시 전사 때 1.44GB 더 늘어 최대 약 2.7GB). float16과 정확도가 같았음
LLM Qwen3.6-35B-A3B 하나(위 표). 동시 요청은 항상 1개(사용자 결정, 2026-11-17. 16GB 카드에서 1개가 출력 97 tok/s로 2개의 70~75 tok/s보다 빠르고, 2개로 쓴 날 프롬프트 읽기가 약 3배 느려짐. 2026-11-10에는 "모든 메시지에 대답" 채팅 채널이 있으면 2개로 정했었음). 이미지는 GPU 처리, 화질 1280x720, 음성 답변은 생각 모드 끔. 함께 잰 Qwen3.8-Flash-Next(Q2_0, MTP 보조 모델)는 출력 131 tok/s로 82 tok/s보다 빨랐지만 음성 답변 첫 문장(0.58초 대 0.36초), 맥락 8천 토큰 첫 토큰(2.1초 대 1.6초), 이미지 1장 답변 시작(1.3초 대 0.6초)이 모두 느리고, 한국어 답에 한자(礼貌)가 한 번 섞였고, 아래 도구 호출 문제가 있어 뺌
지난 대화 맥락 약 8천 토큰에서 시작(텍스트 첫 문장 1.8초). 상한은 M4에서 왕복 지연을 실측해 정함
도구 호출 Strata에서 동작(빠름 12번 중 9번, 권장 12번 중 8번). 둘 다 도구를 부르지 않고 한 척하는 경우가 있음: 빠름 모델은 "5분 타이머 맞춰 줘"에서 "설정했습니다"라고만 답하고(3번 모두), 권장 모델은 "서울 날씨 어때?"에서 날씨를 지어내 답함(3번 모두). 두뇌 코드에서 고침(2026-11-10): (1) 지시문에 "바뀌는 정보(날씨·뉴스·가격·화면)는 이번 턴 도구 결과로만 말하고, 동작은 도구가 성공했을 때만 했다고 말한다"는 규칙을 넣고, 지시문 끝에 이번 턴에 쓸 수 있는 도구 이름을 다시 적음. (2) 모델이 계획 단계가 고른 도구를 건너뛰고 답하면 그 답을 버리고 계획에 적힌 호출을 직접 실행한 뒤 결과로 다시 답하게 함(인자가 도구 형식에 맞을 때만, 아니면 원래 답 유지). (3) 계획 단계에 도구 인자 이름을 보여 줌. 측정 키트 tools_fast/tools_recommended 단계로 두 모델에서 다시 확인. 수정 후에도 틀리면 모델을 바꿈(사용자 결정): 키트가 같은 계열의 덜 압축된 모델(빠름: UD-Q6_K_XL, Q8_0 / 권장: IQ3_XXS, IQ3_S)을 차례로 재고, 처음 통과한 모델을 기본값으로 함. 재측정 결과(2026-11-10): 빠름 모델 UD-Q4_K_XL이 27번 모두 통과해 기본값 그대로 둠. 도구를 모두 모델이 직접 불렀고 "건너뛴 도구 직접 실행" 장치는 한 번도 돌지 않음. (처음 채점에서는 "할 수 있는 도구는 없습니다/준비되어 있지 않습니다"를 거절로 읽지 못해 6번을 실패로 잘못 매겼고, 그래서 Q6_K_XL과 Q8_0까지 받아 잼. 채점을 고친 뒤 세 모델 모두 27번 통과.) 권장 모델은 Q2_0, IQ3_XXS, IQ3_S 모두 27번 중 24번: "거실 불 꺼 줘"에서 계획 단계는 도구가 필요 없다고 했는데 상관없는 도구(화면 보기, 날씨, 한 번은 0분 타이머)를 부름. 압축 정도와 상관없는 모델 성질이라 권장 모델은 뺌
분리된 화면공유 창 분리 창은 하나뿐이고 그 안에서 볼 화면공유를 고름. 창 제목에는 음성 채널 이름만 있어 누구 화면인지 모름. 누가 공유 중인지는 음성 채널 상태로 확인. 물어본 사람이 공유 중이 아니면 그렇다고 답함. 공유 중이면 공유자가 여러 명이어도 따로 묻지 않고 분리 창을 바로 캡처(사용자가 이미 그 사람 화면을 보고 있음). 가려져도 영상은 계속 그려짐
게임 감지 발로란트(테두리 없는 창)를 게임으로, 브라우저 전체화면 영상을 게임 아님으로 바르게 판단. 안티치트 Vanguard 실행 감지
게임 모드 VRAM 비우기 Strata 0.1.59의 qwen36 엔진은 실행 중 VRAM 줄이기를 지원하지 않음(POST /v1/vram이 400). 그래서 게임 중 배치는 전문가 층 VRAM 몫(--expert-vram)과 프롬프트 조각(--prefill 2048)을 정해 다시 시작함. M0 gamemode 두 번 측정 결과(2026-11-10): 16GB 카드에서는 게임에 8GB를 비울 수 없음(가장 많이 비운 배치도 6.3GB, STT 제외). --kv와 --mtp off는 이 엔진에서 VRAM을 줄이지 않음(엔진 소스와 측정으로 확인). 게임 중 배치는 동시 1개, 이미지 CPU, CPU 작업자 8개, 맥락 16K이고 전문가 몫은 식으로 계산함. 게임 중 최소 배치는 전문가 2GB(사용자 결정, 2026-11-10): 실제 게임 중(gamemode_live) 0GB보다 출력이 1.52.1배 빨랐음(STT GPU 19.3 대 9.3, STT CPU 38.4 대 25.4 tok/s). 0GB는 2GB로 게임 몫이 0 이하인 PC에서만 일시정지 전에 씀. 이 PC는 기본값 8GB를 못 비우므로 최소 배치로 가고 "게임에 약 2.6GB까지만"을 표시함(LLM과 STT를 함께 켜고 10명 동시 전사를 돌리며 잰 값, gamemode_stt). 평소 배치도 Strata 자동 배치 대신 같은 식으로 STT 몫을 남겨 --expert-vram을 정함(사용자 결정, 2026-11-10): 자동 배치는 STT와 함께 16.3GB 중 15.9GB까지 채웠고 맥락 첫 토큰이 1.6초에서 7.5초로 늘었음. 게임 중에 LLM이 답하는 동안에는 STT 부분 전사 간격을 늘리고 최종 전사는 바로 처리함. 게임이 없을 때는 LLM이 답하는 동안에도 부분 전사를 줄이지 않고 그대로 함(사용자 결정, 2026-11-10). 10명 동시 전사를 쉬지 않고 돌리면 LLM 출력이 1/2.51/3로 줄고 음성 첫 문장이 1.31.7초가 됨. 평소 배치는 다른 프로그램용 여유 VRAM 1GB를 더 남김(설정에서 바꿈). Jarvis의 GPU 사용률 제한(LLM 엔진과 음성 워커를 200ms마다 함께 10ms씩 멈춤, 영상을 볼 여유를 위해)을 검토했으나 아래 측정으로 뺌. gamemode_tune 측정 결과(2026-11-11): 평소 배치는 식으로 전문가 1.5GB가 나왔고 STT가 VRAM을 가장 많이 쓸 때도 1.8GB가 남았으며 맥락 첫 토큰은 7.5초에서 1.9초로 줄었음(LLM만 64.4 tok/s). 게임 중 LLM이 답하는 동안에는 부분 전사를 멈춤: 2초 간격은 37.5 tok/s에 음성 첫 문장 0.89초로 기준을 넘었고, 멈추면 64.9 tok/s, 0.55초였음. 부분 전사를 멈췄을 때 beam 23 최종 전사와 긴 말의 실제 지연은 미검증. GPU 95% 제한은 멈춘 시간 5.2%를 지켰지만 nvidia-smi 사용률이 내려가지 않았고(96→98%, 40→39%) 출력만 610% 느려져서 기본값은 100%(끔)로 정함(사용자 결정, 2026-11-11). M0 video_drops 측정 결과(2026-11-11): Jarvis가 GPU를 98%까지 쓰는 동안에도 유튜브 1080p 60fps 영상의 끊긴 프레임은 창마다 34개로 Jarvis를 끈 때(3개)와 같았고 50ms 넘는 멈춤과 버퍼링은 0번, 95% 제한은 끊김을 줄이지 못함(7 대 7개). 그래서 미리 정한 기준대로 GPU 사용률 제한 설정을 뺌. 대신 게임 화면의 프레임 시간(평균 fps, 1% low, 50ms 넘는 프레임)을 직접 재고(M0 game_frames), 게임 중 Jarvis 프로세스의 CPU·GPU 우선순위를 "보통 이하"로 낮추는 양보(멈추지 않음)를 후보로 함께 잼. 미리 정한 기준: 바쁠 때 게임만 켠 때보다 5% 넘게 떨어지지 않으면 아무것도 더하지 않고, 더 떨어지면 양보가 하락을 절반 이상 줄일 때만 게임 중 기본으로 켬(Jarvis 출력이 20% 넘게 느려지면 사용자에게 물음) (pc-features.md). M0 game_frames 측정 결과(2026-11-11): 게임이 앞에 있던 바쁨 창에서 게임의 평균 fps는 0.2%, 1% low는 3.3% 떨어졌고 50ms 넘는 프레임은 0개라 기준대로 양보는 넣지 않음. Jarvis를 켠 직후 게임 창이 뒤로 가 있던 창들은 뺐고, 키트는 창 내내 게임이 앞에 있는지 보도록 고침. 유효한 바쁨 창이 하나뿐이고 게임이 GPU를 42%만 쓰던 상태라, GPU를 꽉 채우는 게임에서 끊김이 보이면 다시 잼 (pc-features.md). 배치 전환 2836초, 실제 게임 중 4347초. STT는 게임 중에도 GPU에 둠: CPU로 옮기면 말 한 마디 전사가 3.03.8초(GPU 0.110.19초)라 부분 전사를 따라가지 못함. 엔진이 실행 중 줄이기를 지원하면 다시 잼 (pc-features.md)
PC 프로그램 조작 (agent-desktop) 게임PC에서 동작 확인: 계산기 12+3=15, 테스트 창 입력칸에 값 넣고 다시 읽기 성공(창을 띄우고 2.9초 뒤 읽힘). 명령 한 번: 찾기 0.18초, 누르기 0.22초, 값 넣기 0.28초. 명령마다 실행 0.10초, 계속 켜 둔 MCP 0.09초라 명령마다 실행 방식으로 정함. 디스코드·탐색기 읽기 시간은 키트가 Windows 프로세스 이름(Discord.exe)을 맞추지 못해 재지 못했고, 키트가 띄운 계산기는 close-app으로 닫히지 않음(UWP 앱이라 APP_NOT_FOUND). 둘 다 고쳐서 gamemode와 함께 다시 잼
봇용 크롬창 실제 모니터 어디에도 보이지 않게 가상 모니터에 둠(사용자 선택). M0 vdisplay 단계는 돌리지 않고, M6에서 함께 넣을 드라이버로 직접 확인 (pc-features.md)

확인이 필요한 질문