Files
javis_bot/docs/v2/roadmap.md
2026-11-19 16:35:56 +09:00

50 KiB

구현 단계와 위험 요소

구현 단계

단계 내용 완료 기준
M0 게임PC 사전 검증 측정 스크립트를 게임PC에서 직접 실행하고 결과 파일을 보내 주시는 방식입니다. 결과로 기본값을 확정합니다. 확인 항목은 아래 목록에 있습니다. 가상 모니터 확인을 뺀 모든 항목 측정 완료(2026-11-10). 가상 모니터 확인은 M6에서 합니다. 2026-11-10에 추가한 desktop 단계(agent-desktop)는 측정을 마쳤고, 자동 성능 조절용 gamemode 단계는 세 번 쟀고, gamemode_stt(LLM과 STT를 함께 켬, STT GPU·CPU)와 gamemode_live(실제 게임을 켬) 단계도 측정을 마쳤습니다(2026-11-10). 결과로 게임 중 최소 배치는 전문가 2GB로 정했고, 평소 배치에 STT 자리를 남기는 것과 게임 중 LLM이 답하는 동안 부분 전사 간격을 늘리는 것(게임이 없을 때는 그대로)도 정했습니다(사용자 결정, 2026-11-10). gamemode_tune 단계도 측정을 마쳤고(2026-11-11), 게임 중 LLM이 답하는 동안에는 부분 전사를 멈추기로 정했습니다. GPU 95% 제한은 측정에서 사용률을 낮추지 못해 기본값을 끔으로 바꿨고(사용자 결정, 2026-11-11), video_drops 단계(Jarvis를 돌리는 동안 유튜브 영상의 끊긴 프레임, 직접 실행)도 측정을 마쳤습니다(2026-11-11). Jarvis가 바쁠 때도 영상이 끊기지 않았고 제한이 끊김을 줄이지 못해 설정을 뺐습니다. 대신 게임 화면의 프레임을 직접 재는 game_frames 단계(게임을 켠 채로 Jarvis를 끈 때·쉴 때·바쁠 때와 우선순위를 낮춘 양보 상태, 직접 실행, 관리자 권한)를 넣었고 측정을 마쳤습니다(2026-11-11). Jarvis가 바쁠 때도 게임의 평균 fps와 1% low가 5% 넘게 떨어지지 않아 양보는 넣지 않기로 했습니다. 남은 M0 측정은 가상 모니터 확인(M6)입니다. 측정 키트: scripts/m0/
M1 음성 워커 화자별 스트리밍 STT(공용 모델, 배치), 문장 단위 TTS를 WebSocket으로 제공. 녹음 파일 10개 동시 입력 테스트 통과. 구현과 테스트 완료(2026-11-11): src/voice_worker/, 스펙은 voice_worker.spec.md. 이 서버의 RTX 5050에서 10명이 겹쳐 말하는 실시간 입력(48kHz 스테레오, M0 한국어 샘플 8개를 10명에게 나눠 줌, 절반은 디스코드 speaking 종료, 절반은 무음으로 끝남)을 넣어 10명 모두 최종 전사를 받았고 문자 오류율은 평균 4%, 최대 19%("일곱 시"를 "7시"로 적은 것), 말 끝 판정부터 최종 전사 전송까지 중앙값 0.64초, 최대 1.56초였습니다. TTS는 첫 문장 소리가 0.2초에 나왔고, 그 소리를 다시 넣으면 같은 문장으로 받아 적혔습니다. 샘플이 MeloTTS 합성 음성이라 실제 사람 녹음과 게임PC 수치는 아직 없습니다
M2 디스코드 음성 코어 이전 v1 봇 기능을 새 앱 안으로 이전. 입장/퇴장, 화자별 수신, 재생, 정지 명령 동작. 채팅 채널 연결(읽기·보내기). 구현과 테스트 완료(2026-11-11): app/(Rust, serenity + songbird), 스펙은 discord_core.spec.md. 처음 Electron + TypeScript로 만든 것을 사용자 요청으로 Rust로 다시 씀. 앱이 음성 워커를 띄우고(실행마다 새 토큰, 죽으면 다시 시작) 연결이 끊기면 다시 붙습니다. 음성 채널에 들어갈 때마다 전사 고지를 채널 채팅에 올립니다. songbird 0.6.1의 DAVE 수신 해독이 조각 3분의 1가량을 깨뜨려서(20ms마다 음이 바뀌는 시험 신호로 확인, 보내기는 정상) 받은 패킷의 순서 맞추기와 Opus 해독은 앱이 직접 합니다. 실제 디스코드에서 봇 두 개로 확인(이 서버의 RTX 5050): 다른 봇이 채널에 튼 녹음 문장 5개를 모두 받아 적었고(문자 오류율 3개 0%, "기록해"를 "비록해"로 적은 1개 5%, "일곱 시"를 "7시"로 적은 1개 12.5%), 말이 끝난 뒤 최종 전사까지 0.71~0.90초였습니다. 자비스가 말한 문장을 상대 봇이 받아 다시 전사하니 오류율 3.4%였고, 정지 명령 뒤 0.08초 만에 소리가 끊겼습니다. 채팅 채널은 새 글 받기, 최근 글 읽기, 보내기(2,000자 넘으면 나눔, 아무도 호출하지 않음)가 됩니다. 사람이 직접 말한 소리와 게임PC(Windows) 빌드는 아직 확인하지 않았고, 음성으로 "자비스, 멈춰"는 호출 판정이 필요해 M4에서 합니다
M3 두뇌 연결 기존 jarvis를 Ollama 대신 Strata 주소로 연결. 대화 기록 저장소와 지난 대화 전체 검색(본인 기록 + 등록한 채팅 채널 + 같은 음성 채널의 다른 사람 말). 채팅 채널 도구(읽기·검색·보내기·수정·반응·삭제·고정). 메모리, 날씨, 웹 검색, 식단, MCP 기존 테스트와 평가(evals) 통과. 1단계 완료(2026-11-11): LLM 주소가 /v1로 끝나면 OpenAI 호환 방식(/chat/completions, /embeddings)으로 부름. 형식 변환은 src/jarvis/llm.py 한곳에서 하고 두뇌의 나머지 코드는 그대로 씀. 대화, 도구 호출, 스트리밍, 의도 판정, 받아쓰기 정리, 미리 불러오기가 모두 이 방식으로 감. 이 서버 Ollama의 /v1 주소와 qwen2.5:7b로 실제 두뇌 한 턴을 돌려 "서울 날씨 어때?"에 날씨 도구를 부르고 그 결과로 답하는 것을 확인함. Strata에는 임베딩 모델이 없어 지난 기록 검색은 낱말 검색으로 함. 2단계 완료(2026-11-11): 대화 기록 저장소 src/jarvis/memory/history.py(스펙 history.spec.md). 음성 전사, 자비스의 답, 채팅 채널 글, 음성 채널 출입 시간을 저장하고, 묻는 사람이 볼 수 있는 기록(본인 기록, 채팅 채널, 함께 있던 동안의 다른 사람 말)만 찾음. 전체 기간에서 관련도 순으로 찾고, 기록 10만 개에서 검색 48143ms. 두뇌는 찾은 기록을 받아 지시문에 참고 자료로 넣음(평가 evals/test_history_context_recall.py, qwen2.5:7b에서 3번 모두 통과). 3단계 완료(2026-11-11): 앱이 음성 워커에 음성 채널 입장·퇴장, 사람 출입, 등록한 채팅 채널의 글·수정·삭제를 알리고, 워커가 최종 전사를 저장함. 워커는 --history로 저장소를, --brain으로 두뇌를 켜고, reply 요청에 묻는 사람의 범위로 찾은 기록을 넣어 답하고(reply_text) 음성이면 바로 말함. 실제 디스코드 시험(봇 두 개)에서 전사 8개가 이름과 함께 저장되고, 채팅 수정은 반영, 삭제한 글은 빠지고, 자비스가 나간 뒤 출입 기록이 모두 닫힘. 워커와 실제 두뇌(이 서버 Ollama /v1, qwen2.5:7b, 맥락 8천 토큰)로 다른 사람이 채팅에 남긴 약속을 4번 물어 4번 모두 맞게 답함. Ollama의 /v1은 맥락을 2,048토큰으로 고정해 지시문을 자르므로, Ollama로 시험할 때는 num_ctx를 넣은 모델 이름을 씀(Strata는 시작할 때 맥락을 정해 해당 없음). v2 두뇌는 한 사람용인 v1 장기 기억(프로필·일기·그래프)을 넣지 않고, 답하는 동안 원문이 로그에 찍히지 않게 함. 언제 reply를 보낼지(호출 판정)와 음성 답 재생 연결은 M4. 4단계 완료(2026-11-11): 채팅 채널 도구 chatChannels(목록·읽기·검색·보내기·수정·반응·삭제·고정, 스펙 chat_channels.spec.md). 읽기·검색은 대화 기록 저장소에서, 나머지는 앱이 채널별 허용 설정을 확인하고 디스코드에서 실행. 삭제는 다음 메시지에서 사용자가 동의해야 실행하고, 채널 글은 명령이 아닌 자료로 표시. 실제 디스코드에서 수정(자기 글만)·반응·삭제·고정을 확인(음성 채널의 채팅은 디스코드가 고정을 막아 오류로 돌아옴). 평가(qwen2.5:7b) 3번에 12번 중 10번 통과, 글 속 명령을 따르지 않기와 같은 턴에 지우지 않기는 12번 모두 지킴. 식단 기록은 사람별로 나눔(v1 데이터는 그대로). 기존 테스트·평가 확인(2026-11-11): 단위 테스트는 2,215개 통과, 10개 실패이고, 실패 10개는 이 서버에 PortAudio가 없어 마이크 코드(음성 듣기·받아쓰기)가 꺼진 탓임. 갱신되지 않았던 테스트 4개(한국어 한 문장 날씨 3, 잡담 빠른 경로를 지나는 캐시 1)와 설치된 PyQt6를 가짜로 바꿔 다른 화면 테스트를 깨뜨리던 테스트 1곳을 고침. 평가(evals, qwen2.5:7b)는 145개 통과, 56개 실패, 60개 건너뜀. 실패 중 54개는 M3 이전 커밋(beaacb3)에서도 실패하거나, 3번씩 다시 돌린 통과 횟수가 양쪽이 같아 M3 때문에 생긴 실패는 없음. 나머지 2개는 새 채팅 도구 평가의 알려진 실패(12번 중 2번). 원래 실패하는 평가는 이 서버에 없는 모델(gpt-oss:20b, nomic-embed-text)을 쓰거나 qwen2.5:7b가 웹 검색·날씨 도구를 부르지 않는 경우가 대부분임. 실제로 쓸 모델로 평가 확인(2026-11-11): 게임PC의 Strata(Qwen3.6-35B-A3B UD-Q4_K_XL, 맥락 32K, 평소 배치)에 SSH 터널로 붙어 이 서버에서 평가 전체를 돌림. 193개 통과, 12개 실패, 60개 건너뜀(의도 판정·도구 선택 평가는 gemma4 단계에서만 돌고, gemma4는 이 서버 Ollama에 없음), 8분 13초. 실패 12개를 3번씩 다시 돌리니 5개는 3번 모두 실패(알려진 위치를 날씨 도구 인자로 넣지 않음 2, 파리·런던 비교에서 날씨 도구를 한 번만 부름 1, 지식 그래프 갈래 분류 1, 맥락에 있는 위치를 기억 검색 질문에 다시 넣음 1)했고, 날씨 한 번 부르기 평가는 엔진의 정해진 날씨 경로(_maybe_deterministic_weather)가 평가가 바꿔 둔 도구 실행기를 거치지 않고 실제 날씨를 받아 한국어로 바로 답해 3번 모두 실패함(모델과 상관없음). 나머지 6개는 3번 중 13번 통과함. qwen2.5:7b에서 없던 실패는 기억 검색 질문 1개(3번 모두)와 날씨 다시 시도 2개(다시 돌리면 6번 중 4번 통과)임 실패 고침(2026-11-11): 엔진의 정해진 한국어 날씨 경로를 뺌(평가의 도구 실행기를 거치지 않았고, 사용자가 말한 위치를 쓰지 못함, 큰 모델은 도구 결과를 한국어 한 문장으로 그대로 답함). 날씨 도구와 대화 지시문은 사용자가 대화나 기억에서 말한 위치를 넣고, 자동으로 잡힌 위치는 옮겨 적지 않게 함. "구, 시, 나라" 이름이 안 찾아지면 넓은 지역으로 다시 찾음. 계획 단계에 현재 시간·위치 줄을 주어, 위치를 모를 때만 기억에서 사용자 위치를 먼저 찾게 함. 같은 도구 반복 제한이 이전 답변의 호출까지 세어 사용자가 다시 해 달라고 해도 막던 버그를 고침. 기억 검색어 지시문에서 평가와 같은 문장의 예시를 바꾸고 현재 맥락 블록을 예시 뒤로 옮김(위치를 모를 때는 여전히 묻는지 보는 평가 추가, qwen2.5:7b는 바꾸기 전에도 묻지 않음). 평가 전체 202개 통과, 4개 실패, 9분 3초. 이 전체 실행의 날씨 실패 1개는 장소를 말하지 않은 "what's the weather this week"에 자동으로 잡힌 위치(Hackney, England, UK)를 인자로 옮겨 적은 것으로, 그 뒤 날씨 도구와 지시문을 사용자가 말한 위치만 넣도록 좁혀 고침. 고친 뒤 날씨 평가 12개를 따로 3번 돌려 36번 중 34번 통과(이 평가는 3번 모두 통과, 실패 2번은 날씨 한 번 부르기 평가가 파리 날씨 답에 도시 이름을 다시 말하지 않은 것). 전체 실행의 나머지 실패는 지식 그래프 갈래 분류 1개(모델이 "사용자가 물었다"를 사용자 사실로 하나 더 남김, 지시문을 두 번 고쳐도 같아 되돌림, v2는 v1 장기 기억을 쓰지 않음)와 다시 돌리면 통과하는 2개(유명인 두 턴 대화, 최근 일기 반영)
M4 왕복 완성과 지연 튜닝 호출어·호출 방식·지정한 사람 설정, 동시 대화 응답 정책 4가지(기본 "처음 대화만")와 정책별 끼어들기 규칙. 말 끝부터 첫 소리까지 실측 1.5초 이내, 10명 채널 부하 테스트. 1단계 완료(2026-11-11): 앱의 호출 판정 app/src/calls.rs와 응답 정책 app/src/policy.rs(스펙 conversation.spec.md), 설정 call·response. 비슷한 발음은 유니코드 NFKD로 한글을 자모로 나눠 편집 거리로 판단(기본 0.2: "자비즈"는 호출, "서비스"는 아님). 정책은 말이 끝난 시각 순서, 먼저 끝난 말의 전사 대기(최대 0.8초), 끼어들기, 놓친 요청 사유를 가짜 시각으로 시험함. 2단계 완료(2026-11-11): 대화 루프 app/src/conversation.rs가 최종 전사를 호출 판정과 응답 정책에 넣고, 정책의 결정대로 두뇌에 답을 요청해(reply, 답은 워커가 같은 id로 읽음) 앱의 재생 대기열에서 재생, 끼어들 때는 그 답만 멈춤, "자비스 멈춰"는 모든 말을 멈춤, 놓친 요청은 글 없이 최근 100개를 남김. 두뇌의 두 판정 src/voice_worker/judges.py(봇에게 하는 말인지, 중요도 순위)는 답과 따로 돌아 기다리지 않음. 평가 evals/test_voice_judges.py 12개를 qwen2.5:7b에서 모두 통과. 답을 만드는 중에 멈춘 요청은 말하지 않음. 실제 Python 워커(가짜 두뇌)와 앱의 통합 시험 통과. 3단계 완료(2026-11-11): 채팅 채널 호출. 채널마다 answer(호출어로 부를 때만 / 모든 메시지에 대답), 채팅 호출어(call.chatWakeWords, 없으면 음성과 같음)와 지정한 사람 설정은 음성과 같이 씀. 답은 같은 채널에 원래 메시지의 답글로 올리고 아무도 부르지 않음. 다른 봇의 글과 보내기가 꺼진 채널에는 답하지 않음. 음성 대화 순서와는 따로 감(워커가 음성 답과 채팅 답을 따로 써서 다른 사람의 채팅 답 때문에 음성 답이 기다리지 않음. 한 사람의 답은 물은 순서대로 하나씩 씀. 두 답의 LLM 호출이 동시에 돌려면 Strata를 --parallel 2로 띄움, 앱이 Strata를 띄우는 M5 전까지). 5분 넘게 늦은 채팅 답은 올리지 않음. 실제 디스코드 시험과 지연 측정은 4단계. 4단계 첫 측정(2026-11-12): 앱의 실제 서비스(start_services: 대화 루프, 응답 정책, 워커, 두뇌)를 게임PC Strata(--parallel 2)에 붙이고, 봇 두 개로 질문 5개를 2번씩 말해 잼(app/tests/live_round_trip.rs). 10개 모두 소리로 답했고, 말 끝부터 첫 소리까지 중앙값 3.5초(최소 2.8초, 날씨 도구 8.6초). 9명이 동시에 말하는 부하(워커의 두 번째 연결로 녹음 문장 9개를 실시간으로 넣음, 그동안 최종 전사 259개)에서는 중앙값 4.4초, 최종 전사가 0.60.9초에서 0.81.8초로 늦어졌고 1번은 "기분"을 "딥"으로 잘못 들어 날씨 도구를 불러 18.8초가 걸림. 짧은 답의 시간은 최종 전사 0.650.85초, 두뇌 2.02.9초(도구 고르기 0.42초, 계획 0.5초, 답 호출의 지시문 약 4,300토큰 읽기 1.1초와 생성), 재생 시작과 전달 약 0.4초. Strata의 Qwen3.6 엔진은 지시문 앞부분 재사용을 하지 않아(--prompt-cache-every는 "이 엔진의 옵션이 아님"으로 무시됨, 같은 대화를 그대로 이어 갈 때만 재사용) 매 호출을 처음부터 읽음. 생성은 0.20.5초라 문장 단위로 흘려도 짧은 답은 거의 빨라지지 않음. 1.5초 기준은 아직 못 맞춤. 같은 시험에서 찾아 고친 것: v1 TTS 설정(영어 전용 Piper) 때문에 한국어 질문에 영어로 답하던 것(v2 두뇌는 묻는 사람의 언어로 답함), 호출어 뒤에 쉬면 "자비스"만 따로 끊겨 그 이름에만 답하고 이어진 질문은 무시하던 것(이제 같은 사람이 이어서 하는 말과 합침, call.followUpMs). 4단계 지연 줄이기(사용자 결정, 2026-11-12): 부름을 받으면 "띠링" 효과음(앱이 만든 0.3초 소리, call.earcon, 이름만 부르고 쉬면 그때 바로), 답은 한국어 기본(영어 등은 따로 부탁할 때만), v2 두뇌의 짧은 지시문(성격 설명 7.4천 자를 1.3천 자로, 답은 최대한 짧게, 화면공유 도구는 v2에 없어 뺌: 인사의 답 지시문 4,500토큰이 1,400토큰), 답 전에 판단 한 번(도구 고르기로 도구가 필요한지 정하고, 필요할 때만 계획. 계획 하나로 합치거나 계획을 아예 빼 보니 날씨나 여러 단계 질문이 틀려 이 방식으로 정함), 말하는 중의 중간 전사가 호출로 읽히면 도구 고르기를 미리 해 둠(워커 prepare). 평가 전체(v2 설정, 마지막 지시문 수정 전) 219개 통과, 6개 실패: 파리·런던 비교와 지식 그래프 갈래 분류는 전부터 실패, 3개는 v2가 쓰지 않는 v1 개인 기억(그래프·일기) 평가, 1개는 새 답 길이 평가("하늘은 왜 파래"의 답이 72자로 기준 70자를 넘음). 그 뒤 "왜·어떻게" 질문은 핵심 이유만 말하도록 지시문을 고치고 답 길이 평가를 따로 3번 돌려 3번 모두 통과(v2 답 합계 185205자, 예전 315356자), 한국어 기본·지난 대화·채팅 채널·건너뛴 도구 평가 22개도 모두 통과(전체 평가는 이 수정 뒤 다시 돌리지 않음). 실제 디스코드 재측정(2026-11-12, app/tests/live_round_trip.rs, 질문 5개 2번): 첫 소리(효과음)는 이름 뒤에 쉬면 질문이 끝나기 전에, 쉬지 않으면 0.941.10초. 답의 첫 소리는 중앙값 1.9초(1.562.30초, 날씨 도구 5.755.85초), 9명이 동시에 말할 때 2.8초(2.133.41초, "기분"을 "딥"으로 잘못 들은 1번은 웹 검색으로 13.3초). 혼자일 때는 미리 해 둔 판단이 5번 모두 쓰여 말 끝 뒤 두뇌 시간이 0.60.74초였고, 9명 부하에서는 중간 전사가 밀려 미리 판단이 한 번도 되지 않음(두뇌 1.4초). 같은 시험에서 찾아 고친 것: 모델이 "10시 37분"을 오후로 읽음(시간 줄에 12시간 표기 추가), 없는 타이머 도구 호출 글자(<tool_call>)를 답으로 내 TTS가 읽을 뻔함(도구 호출로 읽음)
M5 관리 앱 기본 첫 실행 마법사, 데이터 폴더, 런타임·모델 자동 설치, 대시보드, 봇/채널·호출/채팅 채널(디스코드 채널 이름·주제 반영 포함)/대화 기억/모델 설정, 로그 화면(보기·복사·다운로드). 단계: 1 관리 기능(화면 없음), 2 서비스 제어와 대시보드 자료, 3 Tauri 화면, 4 런타임·모델 자동 설치, 5 Windows 빌드와 확인. 1단계 완료(2026-11-12): app/src/datadir.rs(데이터 폴더와 위치 기억 파일, 남은 용량), settings_edit.rs(화면 5개의 항목 36개, 기본값과 다른 값만 저장, 모르는 키 보존, 앱 검사를 통과해야만 저장), secrets.rs(봇 토큰, Windows는 사용자 계정 DPAPI 암호화), logs.rs(서비스별 탭, 날짜별 파일 14일 보관, 최근 오류 복사, 10MB 이하 zip, 비밀값·토큰 모양 가림), 앱 설정에 대화 기억(memory) 칸을 넣어 워커에 넘김. 스펙 admin.spec.md. Windows용 코드는 Windows 대상으로 컴파일만 확인(실행 확인은 5단계). 2단계 완료(2026-11-12): control.rs(서비스 시작·정지·재시작 규칙, 실패는 비밀값을 가린 오류로 남기고 아무것도 켜 두지 않음, 앱 실행 파일도 같은 제어기를 씀), dashboard.rs(디스코드 이벤트만으로 만드는 대시보드 자료: 연결 상태, 음성 채널과 참가자, 실시간 자막 30줄(화면에만, 기록하지 않음, 나가거나 정지하면 지움), 답 20개의 단계별 지연(말 끝→최종 전사, 두뇌, 목소리, 전체)과 중앙값, 놓친 요청 20개(글 없이)), system.rs(RAM, nvidia-smi로 GPU 사용률·VRAM). 성능 단계(평소/게임 중/일시정지)는 게임 감지와 함께 M7. 3단계 완료(2026-11-12): 화면 app/ui/(빌드 도구 없는 HTML/CSS/JS, 어두운 테마, 한국어)와 화면이 부르는 명령 admin_api.rs(설정, 대시보드, 시작·정지, 로그 조회·복사·zip, PC 점검, 디스코드 토큰 확인·초대 링크·서버/채널 목록 discord_setup.rs). 첫 실행 마법사(데이터 폴더, PC 점검, 모델 안내, 봇 연결, 서버·음성 채널, 호출어, 시작), 대시보드, 설정 5개, 로그. 개발용 서버 jarvis-admin-dev로 이 서버의 브라우저에서 실제 테스트 봇과 음성 워커를 켜고 확인: 마법사 각 단계, 시작 뒤 "실행 중 · 테스트봇#9029 · 워커 연결됨", 다시 시작·정지, 설정 저장(바뀐 값만, 모르는 키 보존), 채팅 채널 추가, 로그 실시간 보기와 zip 내보내기. Tauri 창(셸)은 이 서버에서 빌드할 수 없어(webkit2gtk 없음) Windows 빌드 단계에서 붙임. 디스코드 채널 이름·주제 반영은 아직. 4단계 첫 부분 완료(2026-11-12): 설치 install.rs·download.rs(이어받기, SHA-256 확인), M0 키트와 같은 방식으로 uv 0.11.20 → 워커·두뇌 Python 3.12 환경(v2 전용 패키지 목록 requirements-brain.txt) → MeloTTS Python 3.11 환경 → Whisper large-v3-turbo → MeloTTS 한국어 음성 → Strata를 모두 데이터 폴더 안에 설치하고, 끝나면 다운로드 캐시를 비우고 워커 설정을 설치된 Python으로 바꿈. 마법사 "모델" 단계에서 진행·취소·다시 시도. 이 서버(Linux)에서 빈 폴더부터 전부 설치해 보고 그 런타임으로 서비스를 켜 워커 연결, 받아 적기·음성 준비까지 확인했고, 설치 중 데이터 폴더 밖에는 아무것도 쓰지 않음. 대화 모델(약 23GB)은 앱이 Strata를 직접 띄우는 다음 부분에서 받음. 4단계 뒷부분 완료(2026-11-12): 서비스를 켜면 앱이 먼저 데이터 폴더의 Strata를 띄움(app/src/strata.rs, M0와 같은 모델과 평소 배치, 처음 켤 때 대화 모델 약 23GB를 받음, 대시보드에 진행률과 Strata의 마지막 줄, 켜는 중에도 정지 가능, 서비스를 끄면 Strata도 끔). 동시 요청은 1개(모든 메시지에 답하는 채팅 채널이 있으면 2개), 그림 읽기는 v2에서 아직 쓰지 않아 끔. 시작할 때마다 두뇌 설정 config/brain.json(Strata 주소, Strata가 알려 준 모델 이름, 데이터 폴더 안의 기억 DB)을 써서 워커에 넘김. 이미 떠 있는 서버를 쓰려면 설정 파일의 llm.url. 확인: 가짜 Strata로 진행률·준비·정지·다운로드 중 취소·실패를 단위 시험, 게임PC의 Strata 0.1.59가 앱의 실행 옵션을 그대로 받아들임(--plan), 앱 서비스를 llm.url로 게임PC Strata에 붙여 실제 디스코드 왕복 10개 모두 소리로 답함. 앱이 Strata를 직접 띄워 모델을 받는 실제 확인은 이 서버에서 할 수 없어(메모리) Windows 빌드 단계에서 게임PC로 함. 5단계 완료(2026-11-12): Tauri 2 창 app/shell(jarvis.exe, 화면의 명령을 같은 AdminApi로 넘김, 창을 닫으면 서비스와 Strata를 끄고 끝날 때까지 기다림, 창의 브라우저 자료는 위치 기억 파일 옆)과 Windows 빌드 app/shell/package.sh(이 서버에서 x86_64-pc-windows-gnu로 빌드, Jarvis/ 폴더에 실행 파일·WebView2Loader.dll·Python 소스 python-src, zip 11MB). 시험용 Windows VM에서: 창과 마법사, PC 점검, uv·워커 환경 설치, 설치 취소 뒤 남은 프로세스 없음, 봇 토큰 DPAPI 암호화 저장, 시작 실패 이유 표시, 로그 화면·오류 복사·zip, 창 닫기로 종료, %APPDATA%·%LOCALAPPDATA%에 아무것도 안 남김, 앱 핵심 단위 테스트(Windows 빌드) 통과. 게임PC(RTX 5070 Ti, C:\JarvisM0 안에서만)에서 같은 관리 명령으로: 전체 설치 7단계 6분 40초, 앱이 직접 띄운 Strata가 엔진과 대화 모델 22.9GB를 약 6분에 받고 준비, 워커(GPU 받아 적기·음성) 연결, 디스코드 음성 채널 입장, 시험 봇이 말한 질문 5개에 모두 소리로 답함(앱이 잰 전체 중앙값 3.36초, 처음 질문 6.4초, 날씨 11.6초), 정지 8초에 GPU 메모리 반환. 같은 시험에서 찾아 고친 것: Windows는 닫힌 로컬 포트의 연결 거부가 약 2초 늦어 정지 확인이 실패로 나오던 것, Strata가 모델 크기(X of Y GB)로만 진행을 알려 진행률이 앞 단계의 80%에 멈춰 있던 것, Strata와 NVIDIA 셰이더 캐시가 %APPDATA%에 쓰던 것(데이터 폴더로). 마무리(2026-11-12): 채팅 채널 이름·주제 반영 app/src/channel_sync.rs(채널마다 "디스코드에도 반영", 기본 켜짐; 등록하면 디스코드의 이름·주제로 채움, 저장하면 바뀐 채널만 디스코드에 반영하고 디스코드가 바꾼 이름(공백은 -)을 화면에 다시 보여 줌, 주제 1,024자 초과는 저장 전에 거절, 10분에 2번 제한에 걸리면 "잠시 뒤 반영" 후 디스코드가 알려 준 시간 뒤 마지막 저장값으로 저절로 다시 시도, 권한이 없으면 이유를 보여 주고 앱에만 저장). 실제 디스코드 시험 채널에서 채움·반영·제한(587초 대기)·자동 재시도까지 확인 후 채널 삭제. 모델 화면에 TTS 말하기 속도(MeloTTS, 0.5~2.0, 기본 1.5; 한국어 모델은 목소리가 KR 하나뿐이라 목소리 선택은 없음). 창을 닫을 때 설치 중이면 취소하고 끝날 때까지 기다림, 정리를 확인하지 못하면 창을 닫지 않고 이유를 보여 줌(한 번 더 닫으면 종료), 실패한 실행이 남긴 Strata도 정리. 창의 WebView 자료는 데이터 폴더(cache/webview), 폴더를 고르기 전에는 임시 폴더에 두었다가 다음 시작 때 지움(%APPDATA%\JarvisBot에는 위치 파일 하나만). Windows의 UTF-8 옵션이 꺼진 PC의 CP949 출력도 끝까지 읽음. VM에서 다시 확인: 설치 중 창 닫기 뒤 남은 프로세스 없음, --location 없이 실행 시 위치 파일 하나만, Windows용 단위 테스트 168개 통과. 게임PC에서 UTF-8 옵션을 끈 상태(코드 페이지 949)로 다시 확인: 전체 설치 7단계, Strata의 대화 모델 22.9GB 다운로드(진행률 10.9%→90%로 표시)와 준비, 워커·디스코드 연결, 시험 봇 질문 5개 모두 소리로 답함(앱이 잰 전체 중앙값 4.0초), 정지 7초에 GPU 메모리 반환, 로그 485줄에 깨진 글자 없음. 남은 것: 설치 파일(NSIS), Strata가 VRAM을 거의 다 써서(15.8/16.3GB) 받아 적기와 GPU를 나누는 문제(M0의 STT 자리 남기기 배치, M7 성능 단계와 함께)
M6 기능 화면과 브라우저 기능 켜기/끄기, MCP 관리, 봇용 크롬(가상 모니터에 둠, Virtual Display Driver 포함), 예약 수집 틀(대상은 비움). 디스코드 "화면" 탭 공유, 커서, 모니터 해제 때 창 위치 확인. 1단계 완료(2026-11-13): 관리 앱 "기능" 화면(app/src/features.rs, 스펙 admin.spec.md "Features and MCP servers"). 날씨·웹 검색·식단 기록 켜기/끄기(끄면 그 도구는 두뇌가 제안하지도 실행하지도 않음, 모델이 이름을 대도, 도구 찾기 도구로도 안 나옴), MCP 서버 추가·삭제·켜기/끄기(이름, 명령, 인자, 환경 변수 이름). API 키 같은 환경 변수 값은 암호화 저장소에만 두고 화면에는 저장 여부만, 로그에서는 가림, 서버를 지우면 값도 지움. 앱이 켤 때 값을 워커 환경으로만 넘기고 두뇌는 그 변수를 자기 환경에서 빼서 각 서버에 자기 값만 줌. 서버마다 연결 결과(도구 수, 실패 이유)는 디버그 없이도 LLM 로그 탭에 남음. 같은 작업에서 v2 두뇌가 v1의 PC 파일 도구(홈 폴더 읽기·쓰기·지우기)와 화면 캡처 도구를 쓰던 것을 뺌(음성·채팅 채널의 누구든 요청할 수 있었음, 화면 보기는 M7에서 권한과 함께). 이 서버에서 확인: 개발용 서버의 브라우저로 날씨를 끄고 MCP 서버(시험용 서버)와 키를 저장, 실제 서비스를 켜니 brain.json에 끈 도구와 서버만 있고 키는 없음, 워커가 "MCP server fake: 1 tool(s)"를 남기고 MCP 서버 프로세스만 키를 받음, 로그·설정 파일에 키 없음, 정지 때 MCP 서버도 꺼짐. 2단계 완료(2026-11-13): 예약 수집 틀(app/src/collect.rs, 워커 src/voice_worker/collect.py, 스펙 admin.spec.md "Background collection"). 관리 앱 "백그라운드 수집" 화면에서 대상(사이트·검색어·RSS, 주기 15분~7일, 켜기/끄기)과 보관 기간(기본 30일)을 정하고 결과를 봄. 기본 대상은 없음. 기능 화면의 "백그라운드 수집" 스위치를 끄거나 켠 대상이 없으면 수집은 하지 않고 보관 기간이 지난 결과만 지움. 대소문자만 다른 대상 이름은 Windows에서 같은 폴더라 거절. 워커가 음성·두뇌와 따로 돌며, 사이트는 바뀌었을 때만, RSS·검색은 새 항목만 남김. 모든 요청은 공개 주소만 허용하고 검사한 그 주소로만 연결(DNS를 다시 물어 내부망으로 새는 것 막음, 리디렉트마다 다시 검사, 1MB, 전체 15초, 주소는 로그에 남기지 않음)하고, 모은 내용은 데이터 폴더 collect/에만 쓰며 두뇌나 로그로 가지 않음(로그에는 대상 이름과 개수만). 덕덕고가 봇 확인 화면을 주면 "결과 없음"이 아니라 실패로 남김. 이 서버에서 확인: 실제 인터넷의 RSS(hnrss 20개), Atom(cpython 10개), 검색어(10개), 사이트(1개) 수집, 내부 주소는 거절, 개발용 서버 화면에서 대상 저장·잘못된 이름 거절·결과 보기, 실제 서비스 시작으로 켠 대상만 워커에 넘어가 수집되고 정지 때 워커도 꺼짐. 3단계 첫 부분 완료(2026-11-13): 봇용 크롬(app/src/browser.rs, 스펙 admin.spec.md "Bot browser"). 설치 단계 browser가 Chrome for Testing 157(약 200MB, SHA-256 고정)을 데이터 폴더 runtime/chrome에 받고, 기능 화면의 "브라우저 제어(봇용 크롬)"가 켜져 있으면 서비스가 화면 없이(headless) 띄움(프로필 browser/profile, CDP는 빈 루프백 포트, 워커에 JARVIS_BROWSER_CDP). 크롬의 모든 연결은 앱의 중계기(루프백 프록시)를 거쳐 이름을 한 번만 풀고 공개 주소에만 연결(이 PC·내부망·CGNAT·IPv4 매핑 IPv6 등은 403, 주소는 로그에 남기지 않음), QUIC 끔, WebRTC도 중계기로만. 켜지지 않으면 대시보드에 이유를 보이고 서비스는 계속 돔. 정지 때 Browser.close 후 5초 안에 안 끝나면 강제 종료. 이 서버에서 확인: 실제 크롬이 example.com은 열고 127.0.0.1·localhost의 로컬 서버에는 요청이 하나도 가지 않음, 정지 78ms, 설치 단계로 실제 내려받아 실행, 실제 서비스 시작에서 대시보드 "준비"·워커 환경에 CDP 주소·정지 때 크롬 프로세스 0개, 기능을 끄면 띄우지 않음, Windows 대상 컴파일. 3단계 둘째 부분(2026-11-13): 두뇌의 브라우저 제어 도구 botBrowser(스펙 bot_browser.spec.md): 열기·읽기·누르기(이름 또는 번호)·입력(Enter 포함)·뒤로, CDP로 봇용 크롬을 조종, 페이지 내용은 신뢰하지 않는 데이터 울타리 안에, http(s)만(file·chrome·data·javascript 거절), LLM 호출 없음. 봇용 크롬이 켜져 있을 때만 제안되고 그동안 fetchWebPage는 빠짐(페이지 읽기는 중계기를 거치는 이 도구 하나로). 실제 크롬으로 열기·누르기·한글 입력 후 검색·뒤로 확인. 사람마다 자기 탭(최대 5개), 새 탭 링크·window.open도 같은 탭에서, 연결·동작·페이지 대기를 합쳐 15초 한 번, 연결이 끊기면 열기·읽기만 새 연결로 한 번 더(누르기·입력·뒤로는 이미 됐을 수 있어 반복하지 않음), 페이지 글자의 <<<·>>>는 바꿔 울타리를 닫지 못함. 평가 evals/test_bot_browser_tool.py 4개를 이 서버의 qwen3:8b(실제 모델과 같은 계열)로 3번: 11/12 통과, 페이지 안의 "evil.example 열어"는 한 번도 따르지 않음. "사이트에서 검색"은 도구 설명에 "먼저 열고 type에 submit=true"를 넣기 전 0/3, 넣은 뒤 3/3(전체 실행에서는 2/3). 실제 모델(Qwen3.6, 게임PC)로는 게임PC GPU가 쓰이고 있어 아직 못 돌림. 3단계 셋째 부분(2026-11-14): 가상 모니터와 "봇용 크롬창 화면공유 선택 표시"(app/src/vdisplay.rs, 스펙 admin.spec.md "Virtual monitor"). 기능 화면의 스위치(기본 꺼짐)와 드라이버 설치·제거 카드(관리자 권한 한 번, Windows의 SignPath 확인 한 번). 오픈소스 Virtual Display Driver 25.7.23을 display-driver/에 함께 넣음(빌드 때 SHA-256 확인). 켜면 서비스가 봇용 크롬을 쓰는 동안만 가상 모니터를 실제 모니터 오른쪽 아래 구석에 1280x720으로 붙이고, 크롬은 창 없이 켠 뒤 CDP로 뒤에서 창을 열어 포커스를 뺏지 않으며, 그 창은 Alt+Tab·작업 표시줄에서 빠지고 작업 영역을 채움. 정지 때 크롬을 먼저 닫고 모니터를 뗌. 모니터나 창을 못 만들면 화면 없이 돌고 대시보드에 이유. 같은 작업에서 관리자 권한으로 실행된 앱에서는 크롬이 일반 권한으로 다시 뜨며 앱이 크롬을 놓치던 것을 고침(--do-not-de-elevate). 서버 Windows 가상머신에서 설치부터 제거까지 확인(위 pc-features.md). 남은 것: 실제 모델 평가, 게임PC에서 디스코드 "화면" 탭 공유 확인(드라이버 설치는 2026-11-14 사용자 허락, 사용자가 게임PC 앞에 있는 시간에 진행), 나머지 기능 스위치(PC 제어·화면 보기, M7)
M7 PC 제어와 화면 보기 아래 목록에 있습니다. 1단계(2026-11-14): 게임 감지(app/src/game.rs, 스펙 admin.spec.md "Game detection"). 서비스가 도는 동안 2초마다 앞 창을 보고 M0 기준(전체화면, 모니터를 덮는 테두리 없는 창 + GPU 3D 10% 이상, Steam·Epic·Riot 게임 폴더와 Windows 설치 정보로 찾은 Battle.net 게임 폴더, 직접 등록한 게임, "게임 아님" 목록 우선, 브라우저·영상 플레이어·디스코드·런처 창 제외)으로 판단, 게임이 끝날 때까지 유지. 관리 앱 "게임 모드" 화면(감지 켜기/끄기, 두 목록)과 대시보드 "게임 모드: 켜짐 (이름, 이유)". 서버 Windows 가상머신에서 Steam 게임 폴더의 프로그램을 켜면 1.4초 뒤 켜짐, 끄면 2.0초 뒤 꺼짐. 한글 등이 섞인 경로의 Steam 게임과 Battle.net 게임(시험용 제거 항목)도 같은 시험으로 확인. GPU 사용률 기준(테두리 없는 창)은 GPU가 있는 게임PC에서 확인할 것. 2단계 첫 부분(2026-11-14): 평소 배치(app/src/placement.rs, 스펙 admin.spec.md "LLM"). NVIDIA 카드가 있으면 M0 키트의 식대로 --expert-vram을 정해 STT 몫(2740MiB)·엔진 여유(768MiB)·다른 프로그램 여유(기본 1GB)를 남김(Strata 자동 배치가 STT 자리를 남기지 않던 M5의 문제). 전문가 없는 모델 VRAM은 맥락·동시 요청 수·카드(UUID)마다 처음 한 번 재서(config/llm-probe.json) 다시 씀. 측정이 실패하면 저장하지 않고 전문가 0으로 켜며, 이전 실행에서 남은 서버는 응답 상태와 상관없이 늘 먼저 끄고 포트가 닫힌 것을 확인한 뒤 잼(확인이 안 되면 재지 않고 전문가 0). 게임PC M0 측정값으로 계산하면 M0와 같은 1.5GB. 게임 중 배치 계산(게임 몫 8GB를 못 비우면 최소 전문가 2GB와 남는 게임 몫, 그것도 안 되면 전문가 0GB, 그것도 안 되면 일시정지)도 넣음. 실제 게임PC 확인은 아직. 2단계 둘째 부분(2026-11-14): 성능 단계 전환(app/src/perf.rs, services.rs, 워커 "LLM switches"). 게임이 감지되면 워커에 전환을 알리고, 하던 답이 끝나면 맥락 16K·동시 1개·CPU 작업자 절반·게임 배치로 LLM을 다시 켬. 그동안 들어온 요청은 기다리고, 처음 음성 요청에 "잠깐만요, 게임 모드로 바꾸는 중이에요"를 한 번 말함. 게임이 끝나고 30초 뒤(설정) 평소 배치로 되돌림. 게임 몫을 비울 수 없거나 "게임 중 일시정지"를 켜면 LLM을 멈추고 답하지 않음. 대시보드에 "성능 단계: 게임 중 · 게임에 X GB". 설정: 게임용 VRAM(8GB), 되돌리기 대기(30초), 게임 중 일시정지(끔). 실제 게임PC 확인은 아직. 같은 단계에서 실패 경로도 다룸: 재시작 실패 시 이전 배치로 되돌리고 60초 뒤 최대 3번 다시 시도, 워커 재연결 시 마지막 LLM 상태 다시 보냄, 전환 번호로 늦은 신호 무시, 다른 프로그램 VRAM은 게임이 없을 때 잰 값만 기준으로 저장(시작 시 뒤에 있는 게임 폴더·등록 게임 프로세스도 확인; 그 밖의 숨은 게임은 못 찾음). 2단계 셋째 부분(2026-11-14): 게임 중 답하는 동안 부분 전사 멈추기(워커 game 표시, 최종 전사는 그대로, 답이 끝나면 밀린 부분 전사 이어서; M0 gamemode_tune 결정). 실제 게임PC 확인은 아직. 3단계 첫 부분(2026-11-15): 화면 보기(app/src/screen.rs, 도구 screenView, 스펙 screen_view.spec.md·admin.spec.md "Screen viewing"). 전체 화면(모니터를 이어 붙인 한 장)·모니터 번호·창(제목이나 프로그램 이름 일부, 가려져도) 캡처와 모니터·창 목록. Windows Graphics Capture, 빠름 768px·보통 1280px·자세히 네 조각, JPEG, 검게 나오면 볼 수 없다고 답함. PC 제어에 등록한 사람만(그 밖에는 앱이 거절), 캡처 제외 프로그램(기본 1Password·Bitwarden·KeePass·KeePassXC)은 고르지도 목록에 넣지도 않고 전체 화면에서 검게 칠함. 그림은 그 답에만 쓰고 단기 기억·기록·로그에 남기지 않음. 화면 보기를 쓸 수 있을 때만 LLM이 그림을 읽음(평소 --vision gpu, 게임 중 cpu, 배치 측정은 따로). "한 일"에 screen.view. 실제 모델로 그림 읽기 평가와 게임PC 시간 측정은 아직. 4단계 사양(2026-11-17): PC 제어 도구 pcControl(스펙 pc_control.spec.md·admin.spec.md "PC control"). 창 목록·읽기·누르기·입력·키·실행·닫기 도구 하나, 먼저 묻기는 시킨 사람의 다음 말로 확인하고 그 답 동안 같은 창의 같은 종류 동작에 쓰임, 결제·비밀번호·파일 삭제·관리자 권한은 묻기 전에 걸러 늘 안 함, 앱은 agent-desktop 1.2.0을 명령마다 실행하고 안티치트 게임 중·비상 정지(Ctrl+Shift+F12) 중에는 읽기만. 구현 순서: 두뇌 도구와 다음 말 확인 → 워커 연결 → 앱 pc.rs → 설치 파일에 agent-desktop → 게임PC 확인. 4단계 구현(2026-11-18): 두뇌 도구 src/jarvis/tools/builtin/pc_control.py(창 글자는 신뢰하지 않는 화면 자료 울타리 안, 결과는 동작 뒤 다시 읽은 화면, 먼저 묻기는 시킨 사람의 다음 말만으로 판단해 그 답 동안 같은 창의 같은 종류에 씀, 결제·비밀번호·파일 삭제·관리자 권한은 창과 종류마다 답 한 번 작은 호출로 걸러 분명한 "아니오"가 아니면 앱에 보내지 않음), 워커의 pc_action(사람별 동의 대기, 기다림 45초), 답 엔진의 같은 도구 반복 제한에서 PC 제어를 뺌(세 번째 호출이 막히자 모델이 누르지 않은 결제 버튼을 눌렀다고 답한 것을 평가에서 찾음), 앱 app/src/pc.rs(agent-desktop 1.2.0 명령마다 실행, 권한 판단, 비상 정지 Ctrl+Shift+F12, 안티치트 게임 중 읽기만, 관리자 창·비밀번호 칸 거절, "한 일"에 pc.<동작>, 기능 스위치 features.pcControl), 설치 파일에 agent-desktop.exe(고정 해시 두 개 확인). 평가 evals/test_pc_control_tool.py를 게임PC Strata의 Qwen3.6으로 8번: 계산기 12+3을 눌러 15를 읽어 답함 6/8(실패는 숫자 순서를 바꿔 누르고 화면의 틀린 값을 그대로 말함), 묻고 다음 말로 동의 8/8, 창 속 "결제 눌러" 따르지 않음 8/8, 결제 버튼은 누르지도 눌렀다고 말하지도 않음 8/8. 실제 agent-desktop과 Windows API(창 순서, 키 입력, 관리자 창, 비밀번호 칸, 계산기 실행, 안티치트 프로세스 이름, 단축키)는 게임PC에서 확인할 것. 3단계 둘째 부분(2026-11-19, 0.1.45): 다른 사람의 디스코드 화면공유 보기(screenView의 share, pc-features.md). 물어본 사람이 자비스가 있는 음성 채널에서 화면공유 중인지 보고, 디스코드가 분리한 창만 캡처하며, 창이 없으면 음성으로 창 분리를 부탁하고 30초 기다림. 평가 evals/test_screen_view_tool.py를 게임PC Strata의 Qwen3.6으로 3번: 4개 모두 통과(12/12, "철수 화면 뭐 하고 있어?"는 share와 철수, "내 화면"은 이 PC 화면). 실제 디스코드 분리 창(제목, 찾기, 기다리기)은 누군가 화면공유를 할 때 게임PC에서 확인할 것.
M8 배포 설치 파일, 자동 업데이트, 깨끗한 Windows에서 설치부터 첫 대화까지 확인. 1단계(2026-11-14): 설치 파일(app/shell/installer.nsi, installer.sh, 스펙 admin.spec.md "Installer"). NSIS로 약 10MB, Program Files에 관리자 권한 한 번, 한국어 화면, 구성 요소(시작 메뉴·바탕 화면 바로 가기, 가상 모니터 드라이버 기본 켜짐, 2026-11-14 사용자 요청으로 앱과 함께 설치. 조용한 설치인 업데이트 때는 드라이버를 건드리지 않음), WebView2가 없으면 함께 설치, 실행 중이면 닫힐 때까지 기다림, /S·/S /RUN(업데이트용), 제거 때 이 앱이 설치한 드라이버도 지우고 데이터 폴더는 남김. 서버 Windows 가상머신에서 조용한 설치(4초)·실행·실행 중 업데이트 뒤 다시 실행·제거, 화면으로 드라이버까지 설치하고 제거하면 장치·패키지·레지스트리가 모두 지워짐 확인. 실패 경로 보강: 고른 폴더의 다른 파일은 남기고, 드라이버 제거 실패 시 제거 중단, WebView2 실패 시 아무것도 설치하지 않음, 설치 잠금(설치 중 앱 실행·설치 프로그램 동시 실행 거절, 끝나면 풀고 다시 실행). 2단계(2026-11-14): 자동 업데이트(app/src/update.rs, 스펙 admin.spec.md "Updates"). app-v<버전> 태그 릴리스의 설치 파일과 .sha256을 찾아 받고 해시를 확인한 뒤, 서비스를 멈추고 /S /RUN으로 설치하고 다시 켬. 앱을 열 때 한 번 확인하고 업데이트 화면에서 받기·설치. VM에서 0.1.0 → 0.2.0 끝까지 확인. 릴리스는 Gitea app-v<버전>으로 게시 중(0.1.46까지). 3단계(2026-11-19): 깨끗한 Windows에서 설치부터 첫 대화까지 확인. 서버 Windows 가상머신(GPU 없음, 4코어, 7GB)에 0.1.46을 조용히 설치하고 앱의 관리 명령으로 런타임 8단계를 모두 설치, 서비스를 켜자 5초 만에 시험 음성 채널에 들어갔고, 시험 봇이 말한 "비서야, 지금 몇 시야?"를 "비서야"와 "지금 몇 시야?"로 받아 합쳐 "지금 오후 4시 30분입니다."라고 소리로 답함. 대화 모델은 게임PC Strata를 빌려 썼고 받아 적기·음성은 CPU라 느림(받아 적기 21초, 워커 준비 4분 41초). 가상머신 디스크가 작아 데이터 폴더는 따로 꽂은 디스크에 둠. 제거 뒤 남은 것 없음. 남은 것: GPU가 있는 깨끗한 PC에서 같은 확인(게임PC는 이미 설치되어 있음).

M0에서 확인할 항목:

  • Strata에서 빠름/권장 모델의 실제 속도와 첫 토큰 시간(맥락 길이별)
  • 도구 호출·이미지 입력 가능 여부
  • 화질 단계별 이미지 읽기 시간
  • 한국어 품질
  • 게임 모드 전환 시간, 모델 배치별 출력 속도·음성 첫 문장·남는 VRAM (gamemode 단계)
  • LLM과 STT(10명 동시 전사)를 함께 켰을 때 남는 VRAM과 양쪽 속도, 게임 중 STT를 CPU로 옮겼을 때의 전사 시간 (gamemode_stt 단계), 실제 게임을 켠 채로 같은 측정 (gamemode_live 단계, 직접 실행), 평소 배치에 STT 자리와 다른 프로그램용 여유 1GB를 남겼을 때, 게임 중 배치에서 LLM이 답하는 동안 부분 전사 간격을 늘렸을 때, GPU 사용률을 95%로 제한했을 때의 양쪽 속도와 실제 GPU 사용률 (gamemode_tune 단계), Jarvis를 끈 때·쉴 때·바쁠 때(제한 없이와 95%) 유튜브 영상의 끊긴 프레임 수 (video_drops 단계, 직접 실행), 게임을 켠 채로 Jarvis를 끈 때·쉴 때·바쁠 때와 바쁠 때 우선순위를 낮춰 양보했을 때 게임 화면의 평균 fps·1% low·50ms 넘는 프레임 수 (game_frames 단계, 직접 실행)
  • faster-whisper turbo와 MeloTTS/CosyVoice2 속도
  • 봇용 크롬창의 Alt+Tab 숨김과 디스코드 화면공유 목록 표시
  • 디스코드 분리 화면공유 창 식별과, 가려졌을 때 영상이 멈추는지
  • 설치된 게임으로 테두리 없는 창 게임 감지와 안티치트 감지
  • agent-desktop으로 프로그램 조작(계산기 버튼 누르기, 브라우저 입력칸에 값 넣기), 디스코드 화면 읽기 시간, 계속 켜 두는 방식(MCP)과 매번 실행하는 방식의 속도 (desktop 단계)

M7 완료 기준:

  • 전체·모니터별·창별 화면 보기
  • 빠른 화면 응답(캡처 미리 준비, 화질 단계)
  • 캡처 제외 목록
  • 분리된 화면공유 창 보기
  • 봇용 크롬창 화면공유 표시
  • agent-desktop으로 프로그램 조작, 접근성 정보가 없는 화면만 키보드·마우스 제어, 비상 정지
  • 안티치트 감지·차단 안내
  • 게임 감지(테두리 없는 창 포함)와 자동 성능 조절(평소·게임 중 배치 전환, 첫 실행 자가 점검, 실행 중 지연 감시), 게임 중 일시정지(게임에 양보는 game_frames 결과로 넣지 않음)

M0M4는 "더 빠르고 똑똑한 음성 대화"의 핵심이고, M5M8은 "설치 하나로 끝나는 관리 앱"입니다. 로그 화면은 M5에 넣어서 그 뒤 테스트할 때부터 바로 쓸 수 있게 합니다. M4까지 끝나면 GUI 없이도 새 엔진을 먼저 써 볼 수 있습니다.

위험 요소와 대응

위험 대응
Strata가 도구 호출이나 동시 요청을 지원하지 않음 M0에서 둘 다 지원 확인. 다만 빠름 모델이 "5분 타이머 맞춰 줘"에서 3번 모두 도구를 부르지 않고 "설정했습니다"라고만 답함(12번 중 9번 성공). 지시문 규칙과 "건너뛴 도구 직접 실행" 장치로 고쳤고 평가(evals/test_tool_skip_confabulation.py)에 넣음. 게임PC 재측정(2026-11-10)에서 빠름 모델은 27번 모두 통과. 권장 모델은 도구가 필요 없는 부탁에 상관없는 도구를 부르는 문제가 남아(27번 중 24번, 덜 압축된 모델도 같음) 뺐고, 모델은 Qwen3.6-35B-A3B 하나만 씀
게임과 VRAM 경쟁 자동 성능 조절: 게임을 감지하면 같은 모델을 VRAM을 덜 쓰는 배치로 다시 시작. 게임 중 일시정지는 선택. VRAM 사용량 실시간 표시
게임 중 배치로 바꾸는 동안(이전 측정 약 52초) 답을 못 함 들어온 요청은 대기열에 두고 한 번만 안내. 하던 답은 끝낸 뒤 전환. 엔진이 실행 중 VRAM 줄이기를 지원하면 다시 시작 없는 방식으로 바꿈
게임 중에는 RAM에 둔 전문가 층을 CPU가 계산해 게임과 CPU를 나눠 씀 M0 gamemode에서 CPU 작업자 수를 줄인 배치도 잼. 게임 중 답이 기준보다 느리면 대시보드에 표시하고, 일시정지를 켤 수 있음
테두리 없는 창 게임을 놓치거나 일반 프로그램을 게임으로 잘못 봄 창 모양 + GPU 사용량 + 게임 폴더를 같이 보고, 게임 목록·"게임 아님" 목록으로 바로잡음. 감지 이유를 대시보드에 표시
agent-desktop.exe에 코드 서명이 없어 백신이나 SmartScreen이 막을 수 있음 우리 설치 파일 안에 넣어 따로 실행 경고가 뜨지 않게 하고, 버전을 고정해 해시를 확인함. 백신이 막으면 첫 실행 점검에서 안내
크롬·디스코드(크로미움) 화면은 처음 읽을 때 목록이 덜 채워짐(켠 직후 10~25초) M0 desktop에서 테스트 창은 띄우고 2.9초 뒤 읽힘. 디스코드 읽기 시간은 gamemode와 함께 다시 잼. 자주 쓰는 창은 미리 한 번 읽어 둠
안티치트 목록에 없는 게임에서 자동 입력 GUI에서 직접 추가, 앱 업데이트로 목록 확장. 독점 전체화면 게임 중에는 자동 입력 기본 차단 유지
LLM이 이미지 입력을 지원하지 않거나 이미지 읽기가 느림 M0에서 측정. 화질 단계 낮추기, 창 단위 캡처, 이미지 전용 소형 모델 예비안
분리된 화면공유 창이 가려지면 영상이 멈춤 M0에서 가려져도 계속 그려짐을 확인. 옮겨 둘 필요 없음
Message Content Intent가 꺼져 있으면 채팅을 못 읽음 첫 실행 마법사와 대시보드에서 확인·안내
CUDA 13은 드라이버 580 이상 필요 첫 실행 점검에서 확인하고 안내. 안 되면 CUDA 12 빌드 사용
서명 안 된 exe라 SmartScreen 경고 처음에는 "추가 정보 → 실행"으로 안내. 필요하면 코드 서명 인증서 구매 검토(유료)
디스코드 음성 암호화(DAVE) 변경 v1에서 쓰는 @snazzah/davey 기반 유지, 라이브러리 업데이트 추적
모델 다운로드가 약 23GB 이어받기, 해시 검증, 진행률 표시
CosyVoice2 한국어 품질·속도 미검증 M0에서 측정 결과 기준 미달. MeloTTS만 기본 제공
디스코드 화면공유 목록이 Alt+Tab에서 숨긴 창도 빼 버림 M0에서 실제로 빠짐을 확인. 가상 모니터 방식으로 감(Virtual Display Driver 포함, 설치 승인받음)
지난 대화를 많이 넣을수록 첫 소리가 늦어짐 관련 부분만 검색해 넣고 분량 상한을 둠. GUI에 예상 지연 표시
일부 화면이 검게 캡처됨 (보호 영상, 독점 전체화면 게임) 테두리 없는 창 모드 안내. 캡처 실패 시 자비스가 "그 화면은 볼 수 없다"고 그대로 말함