Files
javis_bot/docs/v2/voice-and-llm.md
javis-bot 1309525aa8 fix(voice_worker): the wake word hint may never add, drop or create a wake word
Hotword occurrences were counted with fuzzy matching, which never counted a one-letter wake word
(so a hinted "봇 ..." was accepted over a plain decode without it) and counted the real word
"서비스" as "자비스" (so the hint could turn it into the wake word). Occurrences are now counted
exactly (case, spacing and punctuation ignored); near misses are left as heard for call detection.
The real-noise eval now plays each recording as recorded and at -25 dBFS and reports how many clips
reached the model.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-11 10:40:42 +09:00

8.1 KiB

실시간 음성 파이프라인과 LLM

흐름

사용자 발화 ─▶ 화자별 Opus 스트림 ─▶ DAVE 복호화 ─▶ 48kHz 스테레오 PCM
   ─▶ 16kHz 모노 + 음량 정규화 ─▶ 화자별 Silero VAD
   ─▶ (말하는 중) 0.3~0.5초마다 부분 전사 → GUI 실시간 자막
   ─▶ (말 끝: 디스코드 speaking 종료 + VAD 무음 250~400ms) 최종 전사
   ─▶ 호출 판정 (호출어/지정한 사람) ─▶ 응답 정책 ─▶ 응답 대기열
   ─▶ Strata 스트리밍 응답 ─▶ 문장이 하나 완성될 때마다 TTS ─▶ 바로 재생
   ─▶ 봇이 말하는 중 새 호출이 오면 응답 정책에 따라 계속 재생 또는 중단

호출 판정과 응답 정책은 conversation.md에 있습니다.

STT

  • 모델 상주: large-v3-turbo를 앱 시작 때 한 번 올리고 계속 유지합니다.
  • 스트리밍 전사: 말하는 동안 조각을 계속 전사해서, 말이 끝났을 때는 마지막 조각만 처리합니다.
  • 종료 판정 단축: 고정 0.8초 침묵 대기 대신 디스코드 speaking 종료 이벤트와 VAD를 같이 써서 250~400ms 안에 확정합니다(설정에서 조절).
  • 2단 디코딩: 부분 전사는 beam 1(빠름), 최종 전사는 beam 2~3(정확도)입니다.
  • 게임 중 LLM이 답하는 동안: STT와 LLM은 같은 GPU를 씁니다. 10명이 쉬지 않고 말하며 부분 전사를 계속 돌리면 LLM 출력이 1/2.51/3로 줄었습니다(M0 gamemode_stt). 그래서 게임 중에 LLM이 답을 만드는 동안에는 부분 전사를 멈추고(그동안 실시간 자막이 바뀌지 않음), 말이 끝난 뒤의 최종 전사는 기다리지 않고 바로 처리합니다. 게임이 없을 때는 LLM이 답하는 동안에도 부분 전사를 그대로 합니다(사용자 결정, 2026-11-10). 최종 전사가 부분 전사보다 먼저입니다. 멈추기로 한 것은 M0 gamemode_tune 측정 결과입니다(2026-11-11): 2초 간격은 37.5 tok/s, 음성 첫 문장 0.89초에 최종 전사 대기가 최대 1.2초였고, 멈추면 64.9 tok/s, 0.55초였습니다. 부분 전사를 멈췄을 때 beam 23 최종 전사와 긴 말의 실제 지연은 아직 재지 않았습니다(pc-features.md).
  • 부분 전사는 2명씩만 묶음(M1 실측): Whisper 인코더는 말 길이와 상관없이 늘 30초 창을 계산해서, 묶어도 비용이 사람 수에 비례합니다(RTX 5050에서 1명 0.2초, 10명 2.1초). 10명분 부분 전사를 한 번에 돌리면 그동안 들어온 최종 전사가 2초 넘게 기다려서, 부분 전사는 한 번에 2명까지만 돌리고 그 사이에 최종 전사가 먼저 들어가게 했습니다. 여러 명이 함께 말하면 자막은 늦어지고 사람마다 가장 최근 소리만 전사합니다. 인코더 창을 줄이면 4~7배 빨라졌지만 같은 문장을 되풀이하는 오류가 생겨 쓰지 않습니다.
  • 호출어 힌트: 등록한 호출어를 STT에 힌트로 넘겨 잘못 알아듣는 일을 줄입니다. 힌트만 쓰면 웃음소리에서 "자비스"를 지어내거나 실제 문장 끝에 "자비스"를 붙여서(M1 측정, 2026-11-11), 힌트가 있으면 같은 소리를 힌트 없이도 한 번 더 해석해 그 결과로 판단합니다. 힌트 결과는 호출어 개수가 힌트 없는 결과와 정확히 같을 때만 쓰므로, 힌트가 호출어를 더하거나 빼거나 비슷한 말("서비스", "자비수")을 호출어로 바꾸지 못합니다. "자비수" 같은 비슷한 말을 호출어로 볼지는 호출 판정(M4)이 정합니다.
  • 음량 맞추기: 사람마다 목소리 크기가 달라도 같은 크기로 맞춰 STT에 넣습니다. 목소리가 있는 구간만 재서 -20dBFS로 맞추고(최대 +40dB, 낮은 웅웅거림 제거, 큰 소리는 찌그러지지 않게 부드럽게 눌러 줌), 클릭이나 노크 소리가 음량을 정하지 않게 합니다. 측정하면 -60dBFS 속삭임부터 찌그러질 만큼 큰 소리까지 똑같이 받아 적었습니다.
  • 잡음 거르기와 헛 전사 막기: 목소리가 분명한 구간(음성 확률 0.5 이상)이 0.25초 넘게 있어야 STT를 돌립니다. 키보드, 마우스, 발소리, 청소기 같은 잡음은 여기서 걸러집니다. 기침, 웃음처럼 목소리 같은 소리는 STT까지 가지만 결과의 토큰당 평균 확신도(-0.7 이상)와 반복 여부로 거릅니다. 실제 잡음 54개(ESC-50)를 원래 크기와 -25dBFS로 넣은 108개를 호출어 힌트를 켠 워커에 넣으니 103개는 STT까지 가지 않았고, STT까지 간 5개(기침, 웃음, 울음)도 모두 빈 결과였습니다. 그 잡음 위에 말한 문장 89개는 문자 오류율 평균 4.8%였고, 남은 문제는 웃음 직후 "감사합니다." 한 번(확신도가 기준선에 걸침), 시끄러운 잡음 속 짧은 단어 2개 누락, 같은 단어 세 번 반복 한 번입니다. 이 모델(large-v3-turbo)의 "말 없음" 확률은 늘 0이라 쓰지 않습니다.
  • RealtimeSTT 사용 범위: RealtimeSTT는 화자 하나에 인스턴스 하나 구조라 10명이면 모델을 10번 올립니다. 그래서 설계(부분/최종 전사, VAD 결합)만 참고하고, 모델 1개를 10명이 공유하는 배치 방식으로 직접 구현합니다.
  • 선택지: 더 낮은 지연이 필요하면 sherpa-onnx 스트리밍 모델을 "초고속" 옵션으로 검토합니다(한국어 정확도 확인 후).

TTS

  • Piper는 공식 한국어 음성이 없습니다(비공식 KSS 모델만 있음). 그래서 기본값은 v1에서 쓰고 있고 한국어가 검증된 MeloTTS입니다.
  • CosyVoice2/3도 M0에서 쟀지만 스트리밍으로도 첫 소리까지 중앙값 3.4~3.6초가 걸려 넣지 않습니다. MeloTTS는 92자 문장을 0.5초에 만듭니다(decisions.md).
  • LLM 답변을 문장 단위로 끊어 첫 문장부터 바로 읽습니다.

목표 지연 시간 (말이 끝난 뒤 첫 소리까지)

단계 v1 (추정) v2 목표
말 끝 판정 800ms 250~400ms
최종 전사 500~1500ms (통째 전사) 100~250ms (남은 조각만)
LLM 첫 문장 모델 크기에 따라 다름 300~700ms
TTS 첫 문장 문장 전체 생성 후 150~300ms
합계 2~4초 약 1~1.5초

수치는 목표치입니다. M0에서 게임PC 실측으로 확정하고, 대시보드에 단계별 실측 지연을 표시합니다. 화면 질문의 지연 목표는 pc-features.md에 따로 있습니다.

LLM: Strata와 모델

모델은 Qwen3.6-35B-A3B (UD-Q4_K_XL) 하나만 씁니다. 파일 약 23GB, RAM 32GB 이상이 필요하고, 텍스트와 이미지를 읽습니다. 앱에서 모델을 고르는 화면은 없습니다.

게임PC(5070 Ti + 128GB) 실측은 출력 82 tok/s, 음성 답변 첫 문장 0.36초, 맥락 8천 토큰 첫 토큰 1.6초, 이미지 1장 답변 시작 0.6초(GPU로 읽기)이고, 도구 호출 27번을 모두 통과했습니다. 30 tok/s 이상이면 실시간으로 느껴집니다. 함께 쟀던 Qwen3.8-Flash-Next는 출력은 더 빨랐지만 첫 문장이 느리고 도구가 필요 없는 부탁에 상관없는 도구를 불러서 넣지 않습니다(decisions.md).

게임 중이거나 PC가 바쁠 때는 모델을 바꾸지 않고 같은 모델의 배치를 자동으로 바꿉니다(pc-features.md).

확인이 필요한 위험: Strata 문서에 도구 호출(tool calling) 지원, 동시 요청 처리, 이미지 입력 지원이 명시돼 있지 않습니다. M0에서 먼저 확인하고, 안 되면 다음 중 하나로 갑니다.

  1. 기존 jarvis의 플래너 방식(JSON 출력으로 도구 선택)으로 우회합니다.
  2. 같은 GGUF를 llama.cpp 서버로 돌립니다.

참고: Strata https://github.com/Niko1221/Strata (docs/MODELS.md, docs/INSTALL.md), RealtimeSTT https://github.com/KoljaB/RealtimeSTT, Piper 한국어 미지원 https://github.com/rhasspy/piper/discussions/680