Files
game_voice_recorder/docs/dev/replay-3d.md

13 KiB
Raw Blame History

3D 리플레이 · 대화 동기화 (작업 노트, 2026-10-17)

결론 (조사)

  • 발로란트는 리플레이 재생 위치를 주는 API가 없다 (로컬 API는 "리플레이 보는 중"까지). 2026-10-17 사용자 ShooterGame.log 에도 재생 위치는 없다 (열기 · 닫기 · 매치 ID · 시간 옮길 때 선수 재생성만 남음).
  • 그래서 인게임 리플레이를 따라가지 않고, .vrf 를 풀어 사이트에서 재생한다. 대화는 사이트 플레이어 "현장 모드" 시계(sceneTs)에 묶여 재생 · 멈춤 · 이동 · 배속이 같이 움직인다.

구성

  • tools/replay-extract/ (C#, net10): ValorantReplayParser(MIT, fetch-parser.sh 로 고정 커밋을 vendor/ 에 받음) → gvr-replay JSON v1
    • 선수 10명 이동 10Hz (x,y,z,yaw,pitch) · 라운드(구매/교전/끝) · 킬 · 사격 · 스킬/설치물(스파이크 TimedBomb_C 포함) · recordedAt(녹화 시작, ReplayInfo.Timestamp)
    • 13.08 실제 경기(73.8MB): 6초, JSON 5.3MB / gzip 1.4MB, 진단 0
  • 사이트 site/web/src/lib/replay.ts (동기화 · 보간 · 죽음 판정), components/ReplayViewer.tsx (three.js, 지연 로드), ReplayPanel.tsx
    • 동기화: ts = recordedAt + t + offset, offset = 같은 킬(죽인/죽은 puuid)의 경기 기록 ts − 리플레이 시각의 중앙값. 킬이 3개 미만이면 라운드 교전 시작으로.
    • 3D: 맵 3D 모양(아래 "맵 3D") 위에 선수를 실제 높이로. 맵 3D 가 없으면 미니맵 바닥
  • 목 서버: GVR_MOCK_REPLAY=<json> GVR_MOCK_REPLAY_MAP_FILE=<어비스 png> npm run dev → /matches/val-replay-demo (경기 기록 킬을 1234ms 늦게 찍어 동기화 확인)

맵 3D (2026-10-17, 모든 맵)

  • tools/map-extract/ (C#, CUE4Parse 고정 커밋 fetch-cue4parse.sh): 게임 파일을 받지 않고 Riot CDN 번들에서 필요한 조각만 HTTP Range 로 읽는다 (매니페스트 RMAN 파싱 src/Rman.cs, 원격 임의 읽기 src/Cdn.cs, 메모리 캐시 1.5GB, 디스크 안 씀).
    • 맵 = 하위 레벨을 불러오는 영구 레벨 (경기 기록 맵 경로 /Game/Maps/Ascent/Ascent 와 같다). 하위 레벨 중 LevelStreamingAlwaysLoaded 이고 이름이 빛 · 소리 · 게임 규칙 · 부피 · 먼 배경 · 이벤트 장식이 아닌 것만 (MapScene.NotVisual).
    • StaticMesh(+인스턴스) 가장 낮은 LOD 를 월드 좌표(cm)로 구워 맵마다 glb 하나 (위치 + 삼각형만, 재질 없음). 사이트가 높이로 색칠.
    • 13.08 실측: 22개 맵(일반 13 · 팀 데스매치 5 · 스커미시 3 · 어빌리티 드래프트 1) 3.1분, 받은 양 587MB, 최대 메모리 약 1.9GB. scripts/pack.py → gltfpack -cc + gzip 으로 맵당 0.5~4.6MB (합계 52MB).
  • 사이트: 서버 data/maps3d/index.json + <dir>/<code>.glb.gz, GET /site/maps3d* (로그인 필요). 재생기 lib/map3d.ts 가 meshopt 로 풀어 리플레이와 같은 좌표 변환 행렬로 놓는다. 맵이 있으면 미니맵 바닥 · 선수 그림자는 숨긴다.
    • meshopt 는 WebAssembly 라 CSP script-src 에 'wasm-unsafe-eval' 가 필요하다 (없으면 미니맵으로 대체됨, 헤드리스 크롬으로 둘 다 확인).
    • 천장 자르기: 자동(고른 선수 · 없으면 가장 높은 산 선수 몸 중심 + 380cm 위를 자름) · 없음 · 직접(슬라이더).
  • 자동 갱신: scripts/install.sh 가 ~/gvr-maps 에 설치, gvr-maps-update.timer 30분마다 update.sh: uedb 매핑(버전 · 갱신 시각) 또는 라이브 매니페스트가 바뀌면 매핑을 받아 ~/gvr-maps/mappings/ + nextcloud claude/game-voice-recorder/valorant/mappings/ 에 보관 → 전체 추출 → .5 data/maps3d 에 올리고 index.json 교체 (이전 폴더 1개만 남김). 어느 단계든 실패하면 이전 맵 유지, 같은 조합은 30분 · 1 · 2 · 4 · 6시간 간격으로 재시도 (첫 실패 · 성공 때 이 방 채널에 한 줄 알림, uedb/패치 확인 자체는 6번 연속 실패 때 알림). 지금 사이트에 있는 맵이 하나라도 새 결과에 없으면 올리지 않는다 (추출기도 맵 찾기 중 레벨 읽기 실패를 실패로 친다). 강제(대기 · 누락 검사 무시): ~/gvr-maps/scripts/update.sh --force. 시험: scripts/test-update.sh.

앱 (v1.5.0)

  • app/src/core/replays.ts: %LOCALAPPDATA%\VALORANT\Saved 아래(깊이 3, Logs · Crashes · Config 제외) <경기 ID>.vrf → 사이트가 열 때 gvr-replay.exe <vrf> <tmp.json> (낮은 우선순위, 한 번에 하나, 3분 제한) → gzip → GVR-Data/replays/<경기 ID>.json.gz + .src(크기:수정시각:앱 버전). 실패는 메모리에 기억 (파일이 바뀌거나 앱을 다시 켜면 다시)
  • GET /api/matches/:id/replay: 15초 안에 끝나면 200 (content-encoding gzip), 아니면 202 {status:'converting'} → 사이트가 3초마다 다시. 중계는 content-encoding 이 있으면 바이너리 조각 (relay/client.ts)
  • 빌드: win-ci replay_build 단계 (.NET 10 SDK C:\win-ci\dotnet, dotnet publish -r win-x64 단일 파일 38MB) → electron-builder extraResources replay/. 호스트 ~/win-ci/serve/gvr-test.vrf(13.08 어비스 경기) 가 있으면 변환기 · 포터블 앱 smoke(GVR_SMOKE_VRF) 둘 다 실제 변환
  • 리눅스 실측(13.08, 73.8MB vrf): 5.5초, 최대 메모리 347MB, gzip 1.4MB

완전 3D (2026-10-17, v1.7.0)

  • 맵 색: MapScene 이 재질마다 primitive 하나 (법선 · UV, 디퓨즈 텍스처 256px JPEG/PNG(알파), DiffuseColor 색). 두 층 재질(BaseEnv_Blend_*, Diffuse A/B)은 정점 색 R 로 섞는다 (extras.blend, 사이트 map3d.ts 셰이더). UE 왼손 → glTF 앞면에 맞춰 삼각형을 뒤집는다. 어비스 압축 12MB.
  • 요원: gvr-map-extract agents <폴더> → agent_<코드>.glb (요원 블루프린트 Characters/<코드>/<코드>_PC 의 3인칭 메시 LOD1, 512px 텍스처, 뼈대 + 공용 애니메이션 ub_rifle(Core_Rifle_Idle 위 몸) · lb_idle/run*/walk*(아래 몸, Skeleton·Root 는 회전만)). 애니메이션은 ACL 압축이라 CUE4Parse-Natives(ACL 만)를 g++ 로 빌드해 실행 파일 옆에 둔다 (install.sh). 30명 46초, 압축 6.4MB.
  • 무기: weapon_<이름>.glb (기본 스킨 몸 + 탄창, 원점 = 손잡이, 총구 +X). 사이트는 손목(R_Hand) 에 붙이고 보는 방향(pitch)으로 돌린다 (공용 애니메이션은 R_WeaponPoint 를 움직이지 않아 손과 떨어져 있다). 22종 1.5MB.
  • 변환기: equips [t, 선수, 종류] / equipKinds (총 영어 이름 · Melee · Spike · 스킬 클래스). 사이트 이름표 "🔫 밴달", 킬 피드에 무기. 옛 리플레이 JSON 에는 없다 (앱 v1.7.0 부터).
  • 재생기: 카메라 위에서 / 1인칭(고른 선수 눈 + 60cm, pitch) / 자유시점(WASD · Q/E · Shift, 끌어서 둘러보기). 요원은 이동 방향 · 속도로 아래 몸 애니메이션을 섞는다. 스킬은 lib/abilities.ts 가 클래스 이름으로 연막(요원 색 구) · 장판 · 폭발 · 정찰 고리 · 설치물 · 스파이크로 나눈다.
  • 한계: 스킬 효과(파티클) · 벽 스킬 방향 · 앉기 · 점프 자세 · 스킨은 없다. 리플레이 위치는 10Hz 라 빠른 움직임은 보간이다.

스킬 효과 (2026-10-18, 실감 2단계)

  • 추출: gvr-map-extract abilities <폴더> (src/Abilities.cs) → abilities.json + m_*.glb(스킬 · 투사체 · 설치물 메시, 파티클 메시) + t_*.png(256px, 큰 것 512px). 13.08 전체: 스킬 클래스 217 · 파티클 시스템 520 · 메시 373 · 텍스처 1054, 받은 양 341MB · 3.9분 · 최대 메모리 1.7GB, gzip 합계 약 40MB (json 0.8MB).
    • 발로란트 효과는 전부 Cascade ParticleSystem 이다 (Niagara 0개). 이미터마다 모양(sprite · mesh · decal · ribbon) · 재질 · 분포 표(구운 FRawDistribution) 를 그대로 옮긴다. 형식 설명은 Abilities.cs 머리말.
    • 클래스(리플레이 objectKinds) → 블루프린트 → FXC 효과 묶음 · 패치 · 투사체 컴포넌트에서 역할(loop · intro · outro · warn · trail · explode · patch · decal) 별 시스템(아군 · 적 따로).
    • update.sh 가 맵 · 요원 · 애니메이션 다음에 돌리고 pack.py 가 abilities/ 를 gzip 해 index.json abilities 로 올린다.
  • 사이트 lib/vfx.ts: 입자 상태를 "켜진 뒤 지난 시간" 만으로 계산 (입자마다 고정 난수) → 되감기 · 배속에도 같은 장면. 이미터 종류별로 인스턴스 사각형 · 인스턴스 메시 · 바닥에 눕힌 사각형 · 지나간 길(리본).
    • 재질 그래프는 쿡된 파일에 없다(매개변수 · 텍스처만). 이름 점수로 색 · 알파 텍스처를 고르고, 텍스처 채널 상관으로 색 그림 · 흑백/묶음 마스크(R)를 가린다. UE 반투명처럼 (HDR 색 × 불투명도) 를 미리 곱한 알파로 더하고 채널마다 0.8 위를 눌러 불꽃이 주황 · 노랑이 된다.
    • 연막 돔(불투명 · 마스크 큰 구)은 요원별 색(DOME) + noise + 가장자리 빛(게임 팀 색). 돔 위 반투명 층은 돔 색으로 옅게.
    • 장판(CellularPatch): 게임처럼 반지름 안 칸마다 불 효과 하나, 가운데서 SpreadSpeed 로 번진다. 그을음은 반지름 크기.
    • 뺀 것: 벽 너머 표시 · HUD · 1인칭 · 사거리 표시 · 팀 구별 층(FoF) · beam · 화면 아이콘 메시. 데이터가 예상과 다른 이미터는 그 이미터만 끈다.
    • 효과가 없는 클래스는 예전 종류별 모양, 날아가는 모습이 없는 투사체(요루 섬광 등)는 예전 빛 구 + 터지는 효과. 요루 분신 · 스파이크는 원래 그리던 것 + 효과.
  • 개발 확인: 효과 하나만 따로 그리는 판(~/.tmp/gvr/vfxHarness.ts 를 site/web/src/dev/ 에 잠시 두고 vite dev 에서 import('/src/dev/vfxHarness.ts')). 저장소에는 넣지 않았다.
  • 한계: 재질 그래프 근사라 색 · 무늬가 게임과 조금 다르다. 리본 · beam 일부, 화면 효과(섬광 눈부심 등)는 없다. 오멘 연막처럼 추출기가 클래스를 못 찾은 것은 예전 모양.

남은 일

  • 실제 경기로 동기화 오차 확인 (사이트 아래 줄 "킬 N개로 맞춤 (최대 오차 X초)")

완전 3D (맵 · 캐릭터 · 총 · 효과) 조사 (2026-10-17)

  • 게임 파일: Riot CDN 에서 바로 받을 수 있다 (게임 PC 불필요). 매니페스트는 https://clientconfig.rpg.riotgames.com/api/v1/config/public?namespace=keystone.products.valorant.patchlines 의 *.manifest, 받기는 Morilli/ManifestDownloader (-b https://valorant.secure.dyn.riotcdn.net/channels/public/bundles --no-langs -f 'ShooterGame/Content/Paks/(pakchunk|global)'), 13.08 기준 34GB · 10분.
  • 열기: CUE4Parse (EGame.GAME_Valorant, 공개 AES 키, 리눅스 Oodle 자동 다운로드) → 파일 396,466개, Maps/Infinity/*.umap 확인.
  • 매핑: 13.08 부터 패키지가 unversioned → .usmap 필요. 공개 배포처가 있다: https://uedb.dev/svc/api/v1/valorant/mappings (패치별 JSON → Brotli/ZStandard usmap URL, 13.08 은 2026-10-16 갱신), AES 는 .../valorant/aes. 출처: sinnafuls/cue4parse-mcp games.example.json.
    • 이전에 시도한 다른 게임 매핑(Remnant2 등)은 틀린 매핑이라 배열 길이를 잘못 읽어 메모리가 폭주했다 (17.6GB). 올바른 매핑으로는 어비스 전체 읽기 최대 1.3GB · 9초.
    • Uiana-MapImporter(djhaled) 는 UE4 시절(2023, 매핑 불필요) 코드라 그대로는 안 됨 (발로란트 UE5.3 전환은 11.02).
  • 어비스 결과 (2026-10-17): Maps/Infinity/Infinity_Art_*.umap 17개 → StaticMesh 컴포넌트 2,237 + ISM 인스턴스 1,833 = 배치 3,632, 고유 메시 991 (전부 pakchunk0/1 안, 받기 11GB · 3분), 삼각형 136만 (최저 LOD). glb 146MB.
    • 좌표: 리플레이 선수 x,y,z 와 맵 월드 좌표(UE cm)가 변환 없이 일치 (선수 점이 통로 위에만 찍힘). glb 는 (x,z,y)*0.01 로 저장되므로 되돌릴 때 주의.
    • 위에서 볼 때 지붕을 걸러야 한다 (Z 1500cm 이상 삼각형 제외로 미리보기 확인).
    • 추출기: ~/work/valoexp (CUE4Parse, 명령 where/deps/scene/export), 합성 · 미리보기 ~/work/valomap/tools/compose.py. CUE4Parse glTF 내보내기가 리눅스에서 \ 경로로 파일을 쓰는 버그가 있어 옮겨야 함.
    • 보관: nextcloud claude/game-voice-recorder/valorant/13.08/ (nextcloud 에서는 claude/ 폴더 안만 다룬다, 사용자 규칙) (abyss-13.08.tar.gz = glb · scene.json · 미리보기 · usmap · 도구 사본, usmap 단독). 계정은 secrets nextcloud.192.168.10.10.
  • 실험은 반드시 systemd-run --user --scope -p MemoryMax=6G -p MemorySwapMax=0 안에서.
  • 디스크: .9 는 150GB 이상 비워 둔다 (사용자 요청). 게임 파일은 다시 받을 수 있으므로 지웠다. 큰 결과물은 nextcloud(.10:8080)로 (로그인 정보 필요).