11 KiB
11 KiB
07. 노래 DB — 수집 · 분류 · 저장
목표
- 1차 목표 약 1만 곡 (국내 1984~2026 히트곡 중심 + 해외·J-POP·OST·애니/게임 일부)
- 모든 곡에 멜론 곡 ID(기준 키), 발매일, 장르, 길이, 유튜브 Topic 주소, 하이라이트 시작점, 난이도, (가능하면) 가사
- 관리자 페이지에서 모두 확인·수정
수집 출처
| 출처 | 가져오는 것 | 방법 | 확인 결과 (2026-10-18) |
|---|---|---|---|
| sta_songs.json (스타 노래맞추기 맵 7종) | 803곡 제목·가수(275곡은 연도) | 파일 그대로 | 리포 data/seed/sta_songs.json |
| 노라보세 norabose.com | 8,572곡 멜론 ID·연도·주간 최고순위·장르·난이도(5단계), 곡별 유튜브 ID·가사·작사작곡·길이·지니/벅스 ID | data/quiz-index.json + /api/norabose/songs/{ids} |
받기 성공, 멜론 ID인 것 확인 |
| 마추기 machugi.io 음악 퀴즈 | 퀴즈별 곡의 유튜브 ID, 정답 별칭 목록, 구간 시작/끝 초 | POST quiz-question-api.machugi.io/api/play/{quizId} |
응답 구조 확인 |
| 멜론 연도별 차트 | 연도별 TOP100 (KPOP/POP) | chart/age/list.htm?chartType=YE&chartGenre=KPOP&chartDate=YYYY |
100줄 정상 |
| 멜론 실시간 차트 | TOP100 | chart/index.htm |
100줄 정상 |
| 멜론 곡 상세 | 발매일, 장르, 가사(로그인 없이), 작사·작곡·편곡 | song/detail.htm?songId= |
정상 |
| 지니 연도별 / 실시간 | 연도별 TOP100, 실시간 TOP200 | chart/musicHistory?year=, chart/top200 |
정상(페이지당 50) |
| 벅스 실시간 / 연도별 | 실시간 TOP100, 연도별 | music.bugs.co.kr/chart, /years/YYYY |
실시간 정상, 연도별은 자바스크립트 화면이라 별도 처리 필요 |
| 구글(유튜브) 차트 | 주간 인기곡(한국), 연말 결산 | charts.youtube.com | 수집 시 확인 |
| 유튜브 연도별 인기 플레이리스트 | "YYYY 인기곡/히트곡" 공식·대형 재생목록 | yt-dlp 재생목록 추출 | 수집 시 확인 |
| 스포티파이 연도별 플레이리스트 | 연도별 Top 플레이리스트, 곡 인기도(0~100) | Spotify Web API (앱 키 필요, Q12) | 2024년 말부터 스포티파이 공식 플레이리스트는 신규 앱에서 막혀 있어 사용자 플레이리스트로 대체 가능성 |
| 노래방 인기차트 (TJ·금영) — 추가 제안 | 연도별·월별 노래방 인기곡 | 공개 차트 페이지 | "누구나 따라 부르는 곡" 판단에 좋은 신호 |
| 써클차트(가온) 연간 — 추가 제안 | 연간 디지털 차트 | 공개 페이지 | 멜론과 교차 확인용 |
- 요청 속도: 사이트당 2~3초 간격, 하루 상한, 차단 신호(429·로그인 요구·봇 확인) 보이면 그 출처만 중단
- 원본 응답은
chart_entries에 그대로 남겨서 다시 분류할 때 재수집하지 않음
처리 순서
1. 수집 출처별 수집기 → chart_entries(원본)
2. 곡 맞추기 제목·가수 정규화 → 멜론 검색으로 멜론 곡 ID 확정 → songs에 합치기(중복 병합)
3. 정보 채우기 멜론 상세(발매일·장르·가사·크레딧), 가수 정보(솔로/그룹·성별)
4. 유튜브 Topic 주소 찾기 → https://youtu.be/ID (08 문서)
5. 하이라이트 유튜브 heatmap → 음원 분석 → 30% 규칙
6. 지표 조회수, 차트 성적, 노래방 순위, 스포티파이 인기도
7. 분류 인기도 점수 → 난이도 1~10, 연도, 장르, 테마
8. 검토 자동 확정 못 한 곡은 관리자 "후보 확인 대기"
- 수집기는
tools/collector의 Bun 스크립트, 관리자 "수집" 메뉴에서 실행(서버가 별도 프로세스로 띄움, 메모리 상한 2GB) - 단계마다 다시 돌려도 안전(같은 곡 중복 생성 안 함)
곡 맞추기(중복 정리)
- 기준 키: 멜론 곡 ID. 멜론에 없는 곡(게임 BGM, 일부 해외곡)은 내부 ID
- 정규화: NFKC, 소문자, 괄호·feat·Prod·OST 꼬리 분리, 공백·특수문자 제거한 비교 키
- 가수 별칭 사전:
아이유=IU=이지은,SG워너비=SG Wannabe,에스파=aespa,빅뱅=BIGBANG… (영문/한글 병기RESCENE (리센느)자동 분리) - 같은 제목 다른 가수(리메이크·동명곡)는 다른 곡. sta_songs의 원칙과 같음
- 애매하면 자동 병합하지 않고 관리자 "중복 정리" 목록으로
난이도 분류
1) 인기도 점수 (0~100)
| 묶음 | 비중 | 지표 |
|---|---|---|
| 차트 | 40% | 연간 차트 최고 순위(멜론·지니·벅스·써클), 주간 최고 순위·TOP10 머문 기간(노라보세 데이터), 여러 해 차트인, 실시간 차트 재진입 |
| 노출 | 25% | 유튜브 조회수(MV + Topic, 로그 스케일, 발매 연도 보정 — 오래된 곡은 조회수가 적게 나오는 만큼 보정) |
| 노래방 | 15% | TJ·금영 연간/월간 순위 |
| 가수 인지도 | 10% | 가수의 차트 히트곡 수, 멜론 팬 수 |
| 퀴즈 출현 | 10% | 스타맵·노라보세·마추기 등 다른 퀴즈에 나온 횟수 |
- SNS(X·인스타·틱톡)는 공식 무료 API가 없어서 1차 버전은 유튜브 지표(쇼츠 포함 조회수)로 대신한다 (Q13)
2) 점수 → 10단계
- 점수 순위 비율로 나눈 뒤 규칙으로 보정
단계 기준(대략) 1 상위 3% + 연간 차트 TOP10 + 노래방 상위 2 다음 5% (방송·매장 노출 많은 곡: 조회수 상위) 3 다음 10% (연간 차트 TOP30급) 4 다음 12% (연간 TOP100 진입) 5 다음 15% (차트 중하위, 장르 내 대표곡) 6 다음 15% + 역주행 신호(발매 1년 이상 뒤 차트 진입) 7 차트 성적 없음 + 조회수 대비 좋아요·댓글 비율 높음(아는 사람은 좋아하는 곡) 8 차트 없음, 조회수 하위 9 조회수 매우 낮음, 퀴즈 출현 없음 10 최하위 3~5% - 실제 플레이로 보정: 출제 20회 이상인 곡은 정답률·평균 정답 시간을 보고 단계가 안 맞으면 관리자에게 조정 제안(통계 메뉴에서 승인)
- 관리자가 손으로 고정한 난이도는 자동 계산이 덮어쓰지 않음
- 기준별 단계(Q7): 같은 곡이라도 전체 기준과 장르·연대 기준에서 단계가 다를 수 있어
song_levels에 기준별로 저장한다. 방에서 N단계를 고르면 해당 기준 중 하나라도 N단계인 곡이 출제 후보(12 문서)
연도·장르 분류
- 연도: 멜론 발매일(없으면 지니·벅스, 그래도 없으면 첫 차트 진입 연도)
- 장르: 멜론 장르 문자열 → 사이트 장르로 변환(04 문서 표). 여러 장르 허용
- 지역: 멜론 대분류(국내/해외/J-POP)
- 테마: OST 여부, 애니/게임, 동요, 걸그룹/보이그룹(가수 정보)
DB 구조 (SQLite)
songs(id PK, melon_id UNIQUE, title, artist_display, release_date, year, duration_ms,
youtube_id, youtube_status /*matched|candidate|none|dead*/, youtube_score,
mv_youtube_id, highlight_ms, highlight_source /*admin|heatmap|analysis|rule*/,
embeddable, popularity, difficulty_auto, difficulty_manual, hidden, note,
created_at, updated_at, deleted_at)
artists(id PK, melon_artist_id, name, name_en, kind /*solo|group|unit*/, gender, debut_year)
song_artists(song_id, artist_id, role /*main|feat*/, PK(song_id, artist_id))
artist_aliases(artist_id, alias, PK(artist_id, alias))
song_aliases(song_id, alias, part /*title|artist*/, source /*auto|admin|machugi*/)
genres(id PK, name, grp /*region|style|theme*/, sort, hidden)
song_genres(song_id, genre_id, source)
song_levels(song_id, scope /*all|genre:<id>|decade:<1990>*/, level, source /*auto|admin*/, PK(song_id, scope))
lyrics(song_id PK, text, source, fetched_at)
chart_entries(id PK, source, chart, period, rank, raw_title, raw_artist, raw_ref, song_id, fetched_at)
song_sources(song_id, source, ref) -- 예: sta 맵 이름, 노라보세, 마추기 퀴즈 ID
signals(song_id, kind, value, fetched_at) -- yt_views, karaoke_rank, spotify_pop ...
youtube_candidates(song_id, video_id, title, channel, duration_ms, score, picked)
play_stats(song_id PK, plays, correct, skipped, avg_answer_ms, updated_at)
collect_jobs(id PK, kind, params_json, status, progress, log, started_at, finished_at)
- 사용자·세션·관리자·감사 기록 표는 joke-app 마이그레이션 그대로(02 문서)
- 출제 조회 속도를 위해
(year),(difficulty),song_genres(genre_id),(youtube_status)색인
저작권·운영 메모
- 음원 파일은 저장하지 않고(유튜브 플레이어로 재생), 가사는 퀴즈 표시용 일부만 화면에 노출
- 지인용 비공개 성격의 사이트로 운영(검색엔진 차단
noindex), 외부 사이트 데이터는 요청 속도 제한을 지키고 원본을 재배포하지 않음
실제 가져오기에서 알게 된 것 (2026-10-18)
- 노라보세
quiz-index.json의 곡 행 =[멜론곡ID, 연도, 주간 최고순위, 장르 비트, 난이도 비트, 최고순위 날짜]. 장르 비트는 그쪽 번들의 26개 장르(1=발라드, 2=댄스, … 512=POP, 8192=J-POP), 난이도 비트는 5단계이고 한 곡이 여러 단계에 걸칠 수 있다(12 문서 Q7과 같은 생각) - 1차 난이도(임시): 가장 낮은 노라보세 단계 L → 주간 TOP10이면 2L-1, 아니면 2L. 진짜 계산은 9단계
- 노라보세
youtube_id는 팬 가사 영상인 경우가 많다(표본 4곡 중 3곡). 그래서 그대로 쓰지 않고 후보로만 두고, 유튜브 뮤직 노래 검색으로 Topic 음원을 다시 찾는다 - 노라보세 API는 50곡 묶음 중 일부 조합에서 500을 낸다 → 묶음을 반으로 나눠 다시 요청
- 로그인 없는 유튜브 검색(대체 수단)은 Topic 채널 이름이 영문(
Hong Kyung-Min - Topic)이라 한글 가수명과 안 맞아 확정률이 낮다(표본 60곡 중 19곡). 쿠키로 하는 노래 탭 검색은 가수명이 한글로 나온다
9단계 수집 확장에서 알게 된 것 (2026-10-18)
- 수집기:
apps/server/src/collector/charts.ts(차트·멜론 곡 정보),heatmap.ts(하이라이트),levels.ts(난이도). 관리자 "수집" 화면이나cli.ts charts|melon-detail|heatmap|levels로 실행 - 멜론 연도별(가요·팝 1984
작년)·실시간은 곡 ID가 있어서 새 곡도 만든다. 지니 연도별(1990)·벅스 실시간·TJ는 이미 있는 곡에만 붙인다(제목만 다른 같은 곡이 따로 생기지 않게) - TJ 노래방 차트 API는 최근 약 2년만 준다(그 전 기간은 resultCode 98). 그래서 2024년부터만 모은다
- 벅스 연도별은 자바스크립트 화면이라 이번에는 빼고 실시간만
- 하이라이트: 유튜브 시청 페이지의 "많이 다시 본 구간"(heatmap markers 100개). 영상 첫 부분은 누구나 거기서 시작해서 항상 높으니 앞 10%·끝 5%는 빼고 3칸 평균 최고점의 한 칸 앞. 광(狂) 73.5초(yt-dlp 표시 75.8초와 같은 후렴)
- 난이도 점수 = 차트 40 + 노라보세 단계 20 + 노래방 15 + 퀴즈 출현 15 + 가수 히트곡 수 10. 유튜브 조회수는 아직 안 모아서 사람 손으로 매긴 노라보세 단계가 그 몫을 맡는다. 순위 비율로 10단계(상위 3%·5%·10%·12%·15%·15%·12%·12%·11%·5%), 전체 + 곡이 150곡 이상인 장르·연대별. 관리자가 정한 단계는 그대로
- 스포티파이 플레이리스트는 앱 키가 없어 하지 않았다(Q12). 유튜브 연도별 플레이리스트도 같은 집 IP의 music_bot_v2 차단 위험 때문에 뺐다