Files
game_voice_recorder/docs/dev/replay-3d.md

9.8 KiB
Raw Blame History

3D 리플레이 · 대화 동기화 (작업 노트, 2026-10-17)

결론 (조사)

  • 발로란트는 리플레이 재생 위치를 주는 API가 없다 (로컬 API는 "리플레이 보는 중"까지). 2026-10-17 사용자 ShooterGame.log 에도 재생 위치는 없다 (열기 · 닫기 · 매치 ID · 시간 옮길 때 선수 재생성만 남음).
  • 그래서 인게임 리플레이를 따라가지 않고, .vrf 를 풀어 사이트에서 재생한다. 대화는 사이트 플레이어 "현장 모드" 시계(sceneTs)에 묶여 재생 · 멈춤 · 이동 · 배속이 같이 움직인다.

구성

  • tools/replay-extract/ (C#, net10): ValorantReplayParser(MIT, fetch-parser.sh 로 고정 커밋을 vendor/ 에 받음) → gvr-replay JSON v1
    • 선수 10명 이동 10Hz (x,y,z,yaw,pitch) · 라운드(구매/교전/끝) · 킬 · 사격 · 스킬/설치물(스파이크 TimedBomb_C 포함) · recordedAt(녹화 시작, ReplayInfo.Timestamp)
    • 13.08 실제 경기(73.8MB): 6초, JSON 5.3MB / gzip 1.4MB, 진단 0
  • 사이트 site/web/src/lib/replay.ts (동기화 · 보간 · 죽음 판정), components/ReplayViewer.tsx (three.js, 지연 로드), ReplayPanel.tsx
    • 동기화: ts = recordedAt + t + offset, offset = 같은 킬(죽인/죽은 puuid)의 경기 기록 ts − 리플레이 시각의 중앙값. 킬이 3개 미만이면 라운드 교전 시작으로.
    • 3D: 맵 3D 모양(아래 "맵 3D") 위에 선수를 실제 높이로. 맵 3D 가 없으면 미니맵 바닥
  • 목 서버: GVR_MOCK_REPLAY=<json> GVR_MOCK_REPLAY_MAP_FILE=<어비스 png> npm run dev → /matches/val-replay-demo (경기 기록 킬을 1234ms 늦게 찍어 동기화 확인)

맵 3D (2026-10-17, 모든 맵)

  • tools/map-extract/ (C#, CUE4Parse 고정 커밋 fetch-cue4parse.sh): 게임 파일을 받지 않고 Riot CDN 번들에서 필요한 조각만 HTTP Range 로 읽는다 (매니페스트 RMAN 파싱 src/Rman.cs, 원격 임의 읽기 src/Cdn.cs, 메모리 캐시 1.5GB, 디스크 안 씀).
    • 맵 = 하위 레벨을 불러오는 영구 레벨 (경기 기록 맵 경로 /Game/Maps/Ascent/Ascent 와 같다). 하위 레벨 중 LevelStreamingAlwaysLoaded 이고 이름이 빛 · 소리 · 게임 규칙 · 부피 · 먼 배경 · 이벤트 장식이 아닌 것만 (MapScene.NotVisual).
    • StaticMesh(+인스턴스) 가장 낮은 LOD 를 월드 좌표(cm)로 구워 맵마다 glb 하나 (위치 + 삼각형만, 재질 없음). 사이트가 높이로 색칠.
    • 13.08 실측: 22개 맵(일반 13 · 팀 데스매치 5 · 스커미시 3 · 어빌리티 드래프트 1) 3.1분, 받은 양 587MB, 최대 메모리 약 1.9GB. scripts/pack.py → gltfpack -cc + gzip 으로 맵당 0.5~4.6MB (합계 52MB).
  • 사이트: 서버 data/maps3d/index.json + <dir>/<code>.glb.gz, GET /site/maps3d* (로그인 필요). 재생기 lib/map3d.ts 가 meshopt 로 풀어 리플레이와 같은 좌표 변환 행렬로 놓는다. 맵이 있으면 미니맵 바닥 · 선수 그림자는 숨긴다.
    • meshopt 는 WebAssembly 라 CSP script-src 에 'wasm-unsafe-eval' 가 필요하다 (없으면 미니맵으로 대체됨, 헤드리스 크롬으로 둘 다 확인).
    • 천장 자르기: 자동(고른 선수 · 없으면 가장 높은 산 선수 몸 중심 + 380cm 위를 자름) · 없음 · 직접(슬라이더).
  • 자동 갱신: scripts/install.sh 가 ~/gvr-maps 에 설치, gvr-maps-update.timer 30분마다 update.sh: uedb 매핑(버전 · 갱신 시각) 또는 라이브 매니페스트가 바뀌면 매핑을 받아 ~/gvr-maps/mappings/ + nextcloud claude/game-voice-recorder/valorant/mappings/ 에 보관 → 전체 추출 → .5 data/maps3d 에 올리고 index.json 교체 (이전 폴더 1개만 남김). 어느 단계든 실패하면 이전 맵 유지, 같은 조합은 30분 · 1 · 2 · 4 · 6시간 간격으로 재시도 (첫 실패 · 성공 때 이 방 채널에 한 줄 알림, uedb/패치 확인 자체는 6번 연속 실패 때 알림). 지금 사이트에 있는 맵이 하나라도 새 결과에 없으면 올리지 않는다 (추출기도 맵 찾기 중 레벨 읽기 실패를 실패로 친다). 강제(대기 · 누락 검사 무시): ~/gvr-maps/scripts/update.sh --force. 시험: scripts/test-update.sh.

앱 (v1.5.0)

  • app/src/core/replays.ts: %LOCALAPPDATA%\VALORANT\Saved 아래(깊이 3, Logs · Crashes · Config 제외) <경기 ID>.vrf → 사이트가 열 때 gvr-replay.exe <vrf> <tmp.json> (낮은 우선순위, 한 번에 하나, 3분 제한) → gzip → GVR-Data/replays/<경기 ID>.json.gz + .src(크기:수정시각:앱 버전). 실패는 메모리에 기억 (파일이 바뀌거나 앱을 다시 켜면 다시)
  • GET /api/matches/:id/replay: 15초 안에 끝나면 200 (content-encoding gzip), 아니면 202 {status:'converting'} → 사이트가 3초마다 다시. 중계는 content-encoding 이 있으면 바이너리 조각 (relay/client.ts)
  • 빌드: win-ci replay_build 단계 (.NET 10 SDK C:\win-ci\dotnet, dotnet publish -r win-x64 단일 파일 38MB) → electron-builder extraResources replay/. 호스트 ~/win-ci/serve/gvr-test.vrf(13.08 어비스 경기) 가 있으면 변환기 · 포터블 앱 smoke(GVR_SMOKE_VRF) 둘 다 실제 변환
  • 리눅스 실측(13.08, 73.8MB vrf): 5.5초, 최대 메모리 347MB, gzip 1.4MB

완전 3D (2026-10-17, v1.7.0)

  • 맵 색: MapScene 이 재질마다 primitive 하나 (법선 · UV, 디퓨즈 텍스처 256px JPEG/PNG(알파), DiffuseColor 색). 두 층 재질(BaseEnv_Blend_*, Diffuse A/B)은 정점 색 R 로 섞는다 (extras.blend, 사이트 map3d.ts 셰이더). UE 왼손 → glTF 앞면에 맞춰 삼각형을 뒤집는다. 어비스 압축 12MB.
  • 요원: gvr-map-extract agents <폴더> → agent_<코드>.glb (요원 블루프린트 Characters/<코드>/<코드>_PC 의 3인칭 메시 LOD1, 512px 텍스처, 뼈대 + 공용 애니메이션 ub_rifle(Core_Rifle_Idle 위 몸) · lb_idle/run*/walk*(아래 몸, Skeleton·Root 는 회전만)). 애니메이션은 ACL 압축이라 CUE4Parse-Natives(ACL 만)를 g++ 로 빌드해 실행 파일 옆에 둔다 (install.sh). 30명 46초, 압축 6.4MB.
  • 무기: weapon_<이름>.glb (기본 스킨 몸 + 탄창, 원점 = 손잡이, 총구 +X). 사이트는 손목(R_Hand) 에 붙이고 보는 방향(pitch)으로 돌린다 (공용 애니메이션은 R_WeaponPoint 를 움직이지 않아 손과 떨어져 있다). 22종 1.5MB.
  • 변환기: equips [t, 선수, 종류] / equipKinds (총 영어 이름 · Melee · Spike · 스킬 클래스). 사이트 이름표 "🔫 밴달", 킬 피드에 무기. 옛 리플레이 JSON 에는 없다 (앱 v1.7.0 부터).
  • 재생기: 카메라 위에서 / 1인칭(고른 선수 눈 + 60cm, pitch) / 자유시점(WASD · Q/E · Shift, 끌어서 둘러보기). 요원은 이동 방향 · 속도로 아래 몸 애니메이션을 섞는다. 스킬은 lib/abilities.ts 가 클래스 이름으로 연막(요원 색 구) · 장판 · 폭발 · 정찰 고리 · 설치물 · 스파이크로 나눈다.
  • 한계: 스킬 효과(파티클) · 벽 스킬 방향 · 앉기 · 점프 자세 · 스킨은 없다. 리플레이 위치는 10Hz 라 빠른 움직임은 보간이다.

남은 일

  • 실제 경기로 동기화 오차 확인 (사이트 아래 줄 "킬 N개로 맞춤 (최대 오차 X초)")

완전 3D (맵 · 캐릭터 · 총 · 효과) 조사 (2026-10-17)

  • 게임 파일: Riot CDN 에서 바로 받을 수 있다 (게임 PC 불필요). 매니페스트는 https://clientconfig.rpg.riotgames.com/api/v1/config/public?namespace=keystone.products.valorant.patchlines 의 *.manifest, 받기는 Morilli/ManifestDownloader (-b https://valorant.secure.dyn.riotcdn.net/channels/public/bundles --no-langs -f 'ShooterGame/Content/Paks/(pakchunk|global)'), 13.08 기준 34GB · 10분.
  • 열기: CUE4Parse (EGame.GAME_Valorant, 공개 AES 키, 리눅스 Oodle 자동 다운로드) → 파일 396,466개, Maps/Infinity/*.umap 확인.
  • 매핑: 13.08 부터 패키지가 unversioned → .usmap 필요. 공개 배포처가 있다: https://uedb.dev/svc/api/v1/valorant/mappings (패치별 JSON → Brotli/ZStandard usmap URL, 13.08 은 2026-10-16 갱신), AES 는 .../valorant/aes. 출처: sinnafuls/cue4parse-mcp games.example.json.
    • 이전에 시도한 다른 게임 매핑(Remnant2 등)은 틀린 매핑이라 배열 길이를 잘못 읽어 메모리가 폭주했다 (17.6GB). 올바른 매핑으로는 어비스 전체 읽기 최대 1.3GB · 9초.
    • Uiana-MapImporter(djhaled) 는 UE4 시절(2023, 매핑 불필요) 코드라 그대로는 안 됨 (발로란트 UE5.3 전환은 11.02).
  • 어비스 결과 (2026-10-17): Maps/Infinity/Infinity_Art_*.umap 17개 → StaticMesh 컴포넌트 2,237 + ISM 인스턴스 1,833 = 배치 3,632, 고유 메시 991 (전부 pakchunk0/1 안, 받기 11GB · 3분), 삼각형 136만 (최저 LOD). glb 146MB.
    • 좌표: 리플레이 선수 x,y,z 와 맵 월드 좌표(UE cm)가 변환 없이 일치 (선수 점이 통로 위에만 찍힘). glb 는 (x,z,y)*0.01 로 저장되므로 되돌릴 때 주의.
    • 위에서 볼 때 지붕을 걸러야 한다 (Z 1500cm 이상 삼각형 제외로 미리보기 확인).
    • 추출기: ~/work/valoexp (CUE4Parse, 명령 where/deps/scene/export), 합성 · 미리보기 ~/work/valomap/tools/compose.py. CUE4Parse glTF 내보내기가 리눅스에서 \ 경로로 파일을 쓰는 버그가 있어 옮겨야 함.
    • 보관: nextcloud claude/game-voice-recorder/valorant/13.08/ (nextcloud 에서는 claude/ 폴더 안만 다룬다, 사용자 규칙) (abyss-13.08.tar.gz = glb · scene.json · 미리보기 · usmap · 도구 사본, usmap 단독). 계정은 secrets nextcloud.192.168.10.10.
  • 실험은 반드시 systemd-run --user --scope -p MemoryMax=6G -p MemorySwapMax=0 안에서.
  • 디스크: .9 는 150GB 이상 비워 둔다 (사용자 요청). 게임 파일은 다시 받을 수 있으므로 지웠다. 큰 결과물은 nextcloud(.10:8080)로 (로그인 정보 필요).