feat(phase-1a): external data fetchers + refresh pipeline + scheduler

10종목 시드 + pykrx OHLCV / 외인·기관 거래대금, KIS read-only EOD, OpenDART
공시, 네이버 금융 뉴스 스크레이퍼, 구글 뉴스 RSS, yfinance 거시(KOSPI/KOSDAQ/
USDKRW/US10Y) fetcher 를 추가하고 refresh_one / daily_batch / backfill /
APScheduler(16:00 KST) 파이프라인으로 묶음.

- backend/app/seed: 10종목 시드 (대형/고변동/테마/플랫폼/방어)
- backend/app/fetch: pykrx, kis, dart, news, macro, symbols_seed
- backend/app/pipelines: refresh_one, daily_batch, backfill(CLI), scheduler
- backend/app/api/refresh.py: POST /api/refresh/{code}?lookback_days=N
- backend/app/main.py: lifespan 으로 스케줄러 기동/종료, /health/keys 추가
- README: .env 복사 안내 보강

스모크 테스트 (실제 키 사용) 결과:
  KIS token  : ok (token 346자 발급)
  KIS daily  : 005930 11rows
  DART list  : 005930 30일 10건
  Naver news : 005930 12건
  Google RSS : "삼성전자" 92건

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
This commit is contained in:
tkrmagid
2026-05-20 15:43:18 +09:00
parent cacddf5adf
commit 56f73a1f12
15 changed files with 1203 additions and 7 deletions

View File

View File

@@ -0,0 +1,31 @@
"""학습/배치 대상 시드 종목 10개.
분류는 README와 일치. 운영하면서 교체 가능 (DB의 is_seed 플래그만 토글).
"""
from __future__ import annotations
from dataclasses import dataclass
@dataclass(frozen=True)
class SeedTicker:
code: str
name: str
market: str # 'KOSPI' / 'KOSDAQ'
category: str # 분류 라벨 (README 표와 일치)
SEED_TICKERS: list[SeedTicker] = [
SeedTicker("005930", "삼성전자", "KOSPI", "large_cap"),
SeedTicker("000660", "SK하이닉스", "KOSPI", "large_cap"),
SeedTicker("247540", "에코프로비엠", "KOSDAQ", "high_volatility"),
SeedTicker("042700", "한미반도체", "KOSPI", "high_volatility"),
SeedTicker("034020", "두산에너빌리티", "KOSPI", "thematic"),
SeedTicker("012450", "한화에어로스페이스", "KOSPI", "thematic"),
SeedTicker("329180", "HD현대중공업", "KOSPI", "thematic"),
SeedTicker("035420", "NAVER", "KOSPI", "platform"),
SeedTicker("033780", "KT&G", "KOSPI", "defensive"),
SeedTicker("036460", "한국가스공사", "KOSPI", "defensive"),
]
SEED_CODES: set[str] = {t.code for t in SEED_TICKERS}