Files
music_quiz/docs/08-youtube-playback.md

16 KiB
Raw Permalink Blame History

08. 유튜브 Topic 주소 찾기 · 재생 · 하이라이트

1. 유튜브 Topic 음원 주소 찾기

"Topic" 채널(가수명 - Topic)에 올라오는 영상은 음원사가 유튜브에 직접 제공하는 공식 음원(Art Track)이다. 뮤직비디오와 달리 인트로·대사·광고성 장면이 없어서 퀴즈용으로 가장 깔끔하다.

사용하는 것

  • music_bot_v2 (git.tkrmagid.kr/tkrmagid/music_bot_v2)의 유튜브 뮤직 검색 코드 bot/src/utils/api/YoutubeMusic.ts
    • music.youtube.com/youtubei/v1/search를 WEB_REMIX 클라이언트로 호출, 쿠키 + SAPISIDHASH로 인증, 커버/MR/노래방 결과를 뒤로 미는 JUNK_RE 필터 포함
  • Lavalink (192.168.10.6:2333, v4.2.2, youtube-plugin 1.18.2 + LavaSrc 4.8.3)
    • 후보 검색 보조(ytsearch:), 재생 가능 여부·길이 확인(/v4/loadtracks?identifier=https://youtu.be/ID)

직접 확인한 사실 (2026-10-18)

시험 결과
Lavalink ytmsearch:아이유 Love wins all HTTP 200, empty (music_bot_v2 코드 주석대로 ytmsearch는 비어서 못 씀)
로그인 없이 YT Music 검색 API 아티스트/재생목록만 나오고 "노래" 탭이 아예 없음 → 쿠키 인증이 필요
일반 유튜브 검색 SG워너비 광(狂) 1위 광 (狂) / 채널 SG Wannabe - Topic ✔
일반 유튜브 검색 이문세 깊은 밤을 날아서 아티스트 공식 채널의 Art Track(제목이 곡명 그대로) ✔
일반 유튜브 검색 아이유 Love wins all 상위 6개에 Topic 없음(MV·라이브만) → YT Music 노래 검색이 꼭 필요한 경우
yt-dlp https://youtu.be/VO88htcm09E (광) 채널 SG Wannabe - Topic, 설명 Provided to YouTube by Genie Music, 길이 237초, 가장 많이 다시 본 구간 75.8초(후렴)
yt-dlp JleoAppaxi0 (Love wins all MV) 가장 많이 다시 본 구간 161.5초
ytm_cookie.txt로 YT Music 노래 검색 아이유 Love wins all HTTP 200, 로그인 상태, 노래 결과 1위 Wu5FY8J6P8Q Love wins all (4:32) ✔
oEmbed 퍼가기 확인 Wu5FY8J6P8Q, VO88htcm09E, GXNHaLIhyMY 모두 200(퍼가기 허용) ✔

매칭 순서 (tools/collector/youtube-match.ts)

  1. YT Music 노래 검색(music_bot_v2 방식, 사용자가 준 ytm_cookie.txt 쿠키 인증 — 봇 쿠키와 분리) "{가수} {제목}" → 노래 결과의 videoId
    • music.youtube.com/watch?v=ID 주소를 www.youtube.com/watch?v=ID로 바꾸고 최종 저장은 https://youtu.be/ID
  2. 못 찾으면 일반 유튜브 검색 "{가수} {제목}", "{가수} - Topic {제목}" → 채널명이 - Topic으로 끝나는 결과 우선
  3. 그래도 없으면 Lavalink ytsearch: 결과 중 author가 - Topic으로 끝나는 것
  4. 후보 점수 매기기
    • 채널 - Topic +50, 영상 설명에 Provided to YouTube by +30, 공식 아티스트 채널 +15
    • 제목 일치(정규화 후) +30, 가수 일치 +20
    • 길이가 멜론 곡 길이와 ±5초 +20, ±15초 초과 −30
    • MV, Live, 커버, cover, MR, inst, 노래방, 1시간, 가사, lyrics, sped up, remix(원곡이 리믹스가 아닐 때) −40
  5. 최고 점수 ≥ 80 → 자동 확정(matched), 50~79 → candidate(관리자 확인 대기), 그 아래 → none
  6. 확정된 주소는 Lavalink loadtracks로 한 번 더 재생 가능 확인(지역 제한·삭제 영상 걸러냄) + oEmbed로 퍼가기 허용 확인(IFrame 재생이라 필수), 주 1회 재확인

쿠키 갱신 (collector/cookie-keeper.ts, 2026-10-29)

  • 원인: 구글 로그인 쿠키의 __Secure-1PSIDTS·__Secure-3PSIDTS·*SIDCC는 브라우저 탭이 10분마다 accounts.youtube.com/RotateCookies를 불러 새 값으로 바꾼다. 서버에 복사한 쿠키는 이 값을 못 받아 며칠 뒤 로그아웃됐다(10/19 쿠키 → 10/28 08:10 "로그인이 풀렸어요"). 쿠키를 뽑은 브라우저가 같은 세션을 계속 쓰면 더 빨리 끊긴다
  • 서버(index.ts, YT_COOKIE_PATH가 있을 때)가 10분마다 같은 요청(POST accounts.youtube.com/RotateCookies, origin https://www.youtube.com, 본문 [1,"-숫자"])을 보내고 응답 Set-Cookie의 youtube.com 값을 쿠키 파일에 그 형식 그대로(헤더/cookies.txt) 덮어쓴다. 그다음 유튜브 뮤직 노래 검색으로 로그인 상태인지 확인
  • 갱신 401/403 또는 검색이 로그아웃 상태 → "로그인이 풀렸어요"(관리자 → 수집 맨 위). 새 쿠키를 넣을 때까지 갱신을 멈추고, 파일이 바뀌면 1분 안에 다시 확인. 네트워크 오류는 10분 뒤 재시도
  • 429(요청이 너무 많음, 2026-11-03): 갱신·로그인 확인·노래 검색·조회수 짝 찾기·연령제한 음원 받기 중 어디서든 429(yt-dlp는 차단 신호)가 나오면 <쿠키 파일>.cooldown에 지금+3시간을 적는다. 그동안 쿠키를 쓰는 요청은 보내지 않는다(RateLimited). 원곡 찾기·연령제한 작업은 멈추고, 조회수는 "HH:MM까지 쉬어요" 실패로 남아 다시 불러오기를 기다린다. 갱신도 쉬는데, 새 쿠키 파일이 들어오면 바로 확인한다. 11/03에는 원곡 찾기 567곡(2초 간격) 직후 갱신이 429를 받았고, 10분 뒤 401로 세션이 끝났다
  • 일부만 복사한 쿠키: 다른 사이트(퍼간 플레이어)가 보낸 요청의 쿠키에는 __Secure-3P*만 있고 SAPISID·__Secure-1PSID·SID가 없다. SAPISID는 __Secure-3PAPISID와 같은 값이라 읽을 때 채운다(파일은 그대로). 로그인 값은 SAPISID(또는 채울 값)와 __Secure-1PSID/__Secure-3PSID 중 하나가 있으면 된다
  • 갱신은 서버 한 곳만(세션 하나에 갱신하는 쪽이 둘이면 서로의 값을 무효로 만든다). 수집기는 파일을 요청마다 새로 읽고(YtMusic은 파일이 바뀌면 다시 읽음, age-audio는 곡마다), yt-dlp가 돌려준 쿠키 중 값이 바뀐 것은 파일에 합친다(받는 동안 파일이 바뀌었으면 — 서버가 갱신했거나 새 쿠키가 들어왔으면 — 파일 쪽이 더 새 값이라 yt-dlp 값은 버린다)
  • 잰 것(10/29, 이미 로그아웃된 쿠키): accounts.youtube.com/RotateCookies 200 + SIDCC만 새로 줌(PSIDTS 없음), 검색은 로그아웃 → 상태는 검색으로 판단해야 한다. 쿠키 없이 403, accounts.google.com/RotateCookies는 youtube 쿠키로 401
  • 쿠키 받는 법: 크롬 시크릿 창에서 로그인 → music.youtube.com → 쿠키 내보내기 → 로그아웃하지 말고 창을 닫는다(브라우저가 그 세션을 다시 쓰지 않게). 비밀번호 변경·"모든 기기 로그아웃"·구글 보안 확인이 있으면 다시 끊긴다

요청 속도

  • 곡당 검색 1~3회, 5초 간격(2026-11-03, 2초에서 늘림), 하루 최대 300곡(cron). 429가 한 번이라도 나오면 바로 멈추고 3시간 동안 쿠키를 쓰는 요청을 하지 않음(위 429), 다음 날 cron에서 재개

2. 재생 방식

확정: B안(숨긴 IFrame 플레이어) + 서버 기준 동기화. 자세한 동기화 규칙은 12-decisions.md Q1. 아래 A안은 검토 기록으로만 남긴다.

A안: 서버 음원 캐시 + 구간 스트리밍 (추천)

  • 서버가 yt-dlp로 해당 곡 음원만 받아(opus/m4a, 곡당 3~5MB) 디스크 캐시에 두고, 문제마다 필요한 구간만 ffmpeg로 잘라 일회용 주소(/api/audio/{토큰})로 보낸다
  • 장점
    • 정답이 새지 않음: 브라우저에 유튜브 ID나 제목이 전혀 안 감(유튜브 플레이어를 쓰면 개발자도구로 영상 ID가 보여서 검색 한 번이면 정답)
    • 광고 없음: 공식 음원은 수익화 영상이라 유튜브 플레이어로 틀면 문제 도중 광고가 나올 수 있음
    • 정확한 길이: 1초/3초도 정확히 그 길이만 재생, 하이라이트 시작점도 정확
    • 모두 같은 순간에 시작(서버 기준 시각에 맞춰 재생)
  • 단점: 서버가 음원을 받는 시간(곡당 2~5초, 다음 곡을 미리 받아서 감춤), 디스크 사용(캐시 상한 5GB ≈ 1,200곡, 오래 안 쓴 것부터 삭제), 유튜브 차단 대응 필요(music_bot_v2의 쿠키·poToken 갱신 방식 재사용)

B안: 유튜브 플레이어(IFrame)를 화면 뒤에 숨겨서 재생 — 채택

  • 장점: 서버 부담 없음, 음원 캐시 디스크 불필요
  • 약점과 대응
    • 영상 ID 노출 → 준비 단계에만 전송, 방 상태에 미포함(완전 차단은 불가, 사용자 감수)
    • 광고 → 준비 단계에서 음소거로 먼저 재생해 광고를 흘려보내고, 실제 곡이 재생되기 시작한 뒤에야 audioReady
    • 소리 차단(자동재생 정책) → 입장 때 참가 (소리 켜기) 클릭으로 허용받고, 재생 직후 음소거 해제·재생 상태를 확인, onAutoplayBlocked나 확인 실패면 모두 멈추고 그 사람에게 눌러서 소리 켜기
    • 버퍼링·준비 실패 → 전원 준비 전에는 시작하지 않음, 재생 중 버퍼링이면 모두 일시정지 후 같은 위치에서 재개(시간 상한으로 자동 진행 안 함, 30초 넘으면 방장이 그 사람만 이번 문제 제외 가능)
    • 1초 모드 오차 → 시계가 아니라 재생 위치를 보고 정지, 1초마다 위치 보정
    • 실제 브라우저 시험 결과와 남은 수동 검증 목록은 12-decisions.md Q1
    • 퍼가기 금지 영상 → 매칭 때 oEmbed(https://www.youtube.com/oembed?url=https://youtu.be/ID)가 401이면 제외, 재생 오류 101/150이면 건너뛰고 "재생 불가" 표시

2-1. 연령제한 곡: 서버에 받아 둔 음원으로 재생 (2026-10-20)

유튜브는 외부 사이트에 넣은 플레이어(IFrame)에서 연령제한 영상을 막는다. 보는 사람이 로그인했든 성인 인증을 받았든 똑같이 오류 150이다(https://support.google.com/youtube/answer/2802167). 그래서 이런 곡만 서버가 성인 인증된 계정으로 음원을 한 번 받아 두고, 게임은 그 파일을 재생한다.

직접 확인한 사실 (2026-10-20)

시험 결과
연령제한 영상 6kLq3WMV1nU 영상 페이지, 로그인 없이 playabilityStatus LOGIN_REQUIRED "성인 인증하려면 로그인하세요", 소리 크기·heatmap 없음
같은 페이지, ytm_cookie.txt 계정으로 OK(이 계정은 성인 인증됨), 소리 크기 -14.17 LUFS(ffmpeg로 잰 파일 -14.2와 같음)
yt-dlp 2026.08.19(--cookies, --js-runtimes bun, -f bestaudio[ext=m4a]) 약 5초, 4MB m4a. 배포 이미지 안에서도 같음
ffmpeg 없이 받은 DASH m4a를 크롬 <audio>로 재생·임의 위치 이동 정상, Bun이 Range 요청(206)을 알아서 처리
매칭된 곡 중 소리 크기를 잰 약 2,180곡 연령제한 0곡(못 잰 2곡은 "Music Premium 전용"). 연령제한 곡은 드물다

방식

  • 찾기: 소리 크기·하이라이트 수집이 로그인 없이 받은 영상 페이지가 성인 인증 화면이면 songs.age_video에 표시. 게임 중 오류 100/101/150이 나면 지금처럼 다른 곡으로 바꾸고 "재생 불가"로 표시한 뒤 age-audio 작업을 바로 띄운다. 작업이 그 곡을 다시 보고, 연령제한이면 게임으로 되돌린다(음원을 받은 뒤부터 출제)
  • 받기: cli.ts age-audio(collector/age-audio.ts). 로그인한 영상 페이지에서 소리 크기·heatmap 하이라이트를 저장하고, yt-dlp로 소리만 받아 /data/audio/<영상id>.m4a. 저장한 영상 id는 songs.audio_video. 곡당 3초 간격, 차단 신호면 멈춤, 실패한 곡은 하루 뒤 다시. 쿠키 계정으로도 성인 인증 화면이 나오면(쿠키 만료·성인 인증 안 된 계정) 작업을 멈추고 로그에 남김. 어느 곡도 안 쓰는 파일은 지움
  • 출제: 연령제한 곡은 음원을 받은 뒤에만 낸다(songs/pool.ts). 영상이 바뀌면 둘 다 다시
  • 재생: prepare·catchup에 videoId 대신 audio(/api/audio/<무작위 토큰>, 6시간 유효, 문제마다 새로 발급)를 보낸다. 브라우저는 그 주소면 숨긴 <audio>로 재생하고 나머지(같은 시각 시작, 재생 위치로 정지, 1초마다 위치 맞추기, 버퍼링 멈춤, 새로고침 이어 듣기)는 유튜브와 같다. 입장 클릭 때 /silence.m4a를 같이 틀어 이 <audio>도 소리를 허용받는다
  • 소리 크기: 유튜브가 -14로 줄여 주지 않으므로 보정값 = min(1, 10^((-18 − 곡 크기)/20)), 못 잰 파일은 -9 LUFS로 본다
  • 쿠키: YT_COOKIE_PATH(지금은 곡 검색과 같은 ytm_cookie.txt). 헤더 형식(a=1; b=2)과 cookies.txt 둘 다 읽는다. 곡마다 파일을 새로 읽고, yt-dlp가 바꾼 값은 파일에 합친다(§1 쿠키 갱신)
  • 한계: 관리자 노래 편집의 미리듣기는 유튜브 플레이어라서 연령제한 곡은 들리지 않는다. yt-dlp는 유튜브가 바뀌면 깨질 수 있다(Dockerfile의 버전·체크섬을 올림). bun을 JS 실행기로 쓰는 것은 yt-dlp에서 "deprecated" 경고가 나온다(지금은 동작)

3. 재생 위치 "처음부터 / 하이라이트부터"

하이라이트 = 그 곡에서 가장 유명한 부분(대개 후렴). 곡마다 highlight_ms를 저장한다.

구하는 순서

  1. 유튜브 "가장 많이 다시 본 구간" — 조회수가 충분한 영상은 yt-dlp가 재생 구간별 인기도(heatmap)를 준다. 가장 높은 구간 시작점을 쓴다(MV와 Topic 영상 길이가 같으면 MV 쪽 heatmap도 활용)
  2. 음원 분석 — (관리자가 일괄 실행할 때만) 음원을 잠깐 받아 반복 구간(후렴) 찾기(크로마 자기유사도 방식, Python librosa, 곡당 1~2초, 메모리 300MB 이하)
  3. 관리자 지정 — 관리자 노래 편집 화면에서 미리듣기 중 "지금 위치를 하이라이트로" 버튼
  4. 셋 다 없으면 곡 길이의 30% 지점(대부분 첫 후렴 근처)
  • 우선순위: 관리자 지정 > heatmap > 음원 분석 > 30% 규칙
  • "듣고맞출시간"이 하이라이트 이후 남은 길이보다 길면 남은 곳까지만

3-1. 소리 크기 맞추기 (2026-10-19)

곡마다 소리 크기가 달라서(옛날 녹음·라이브는 작고 요즘 곡은 큼) 재생할 때 볼륨을 곡마다 자동으로 바꾼다.

직접 확인한 사실 (2026-10-19)

시험 결과
유튜브 영상 페이지 audioConfig 영상마다 유튜브가 잰 크기가 들어 있음: trackAbsoluteLoudnessLkfs(LUFS), loudnessTargetLkfs: -14. 오디오를 받을 필요 없음
퍼가기(IFrame) 플레이어, 실제 크롬 -14보다 큰 곡은 유튜브가 직접 -14로 줄임(광 -10.4 → 66%, -5.4 곡 → 37%). 작은 곡(-21.8)은 키우지 않음(100%). setVolume은 이 위에 곱해지고 소수점은 버림
매칭된 곡 무작위 60곡 87%가 -14보다 큼(유튜브가 이미 같은 크기로 맞춤). 작은 곡은 거의 80년대 녹음, 가장 작은 곡 -21.8, -18 아래는 약 4%

방식

  • 기준 크기 -18 LUFS(songs/quiz.ts TARGET_LUFS). 볼륨은 줄이는 것만 되므로 작은 쪽에 맞춘다. 곡의 약 96%가 같은 크기로 들리고, 이보다 작은 옛날 곡 몇 개만 최대 볼륨으로 조금 작게 들린다
  • 보정값 = min(1, 10^((-18 − min(곡 크기, −14)) / 20)). 실제 볼륨 = 내 볼륨 슬라이더 × 보정값. 서버가 prepare·catchup에 gain으로 보낸다(정답 공개 중 이어 듣기도 같은 값)
  • 아직 안 잰 곡은 보통 곡(-14 이상)과 같은 값(0.63)
  • 곡 크기는 songs.loudness_lufs에 저장하고, 잰 영상 id(loudness_video)가 지금 영상과 다르면 쓰지 않는다(관리자가 영상을 바꾸면 다시 잼)
  • 모으기: cli.ts loudness(인기곡부터, 곡당 영상 페이지 1번, 3초 간격, 차단 신호면 멈춤). 하이라이트 찾기(heatmap)도 같은 페이지에서 크기를 함께 저장. 관리자 "수집" 화면에서도 실행 가능
  • 한계: 곡 전체 평균 크기라서 한 곡 안의 차이(조용한 인트로와 후렴)는 그대로다

4. 가사 (가사보고 맞추기)

  • 멜론 곡 상세 페이지의 가사를 수집해 DB에 저장(가사 없는 곡은 이 모드에서 제외)
  • 출제할 때 보여줄 부분: 후렴 아닌 1절 가운데 4줄 → 시간이 지나거나 힌트를 쓰면 2줄씩 추가
  • 가사 안에 제목 단어가 있으면 ○○로 가림 (예: "사건의 지평선" → "○○○ ○○○")
  • 영어 가사만 있는 곡은 그대로, 일본어 곡은 원문(번역 없음)