56f73a1f12
10종목 시드 + pykrx OHLCV / 외인·기관 거래대금, KIS read-only EOD, OpenDART
공시, 네이버 금융 뉴스 스크레이퍼, 구글 뉴스 RSS, yfinance 거시(KOSPI/KOSDAQ/
USDKRW/US10Y) fetcher 를 추가하고 refresh_one / daily_batch / backfill /
APScheduler(16:00 KST) 파이프라인으로 묶음.
- backend/app/seed: 10종목 시드 (대형/고변동/테마/플랫폼/방어)
- backend/app/fetch: pykrx, kis, dart, news, macro, symbols_seed
- backend/app/pipelines: refresh_one, daily_batch, backfill(CLI), scheduler
- backend/app/api/refresh.py: POST /api/refresh/{code}?lookback_days=N
- backend/app/main.py: lifespan 으로 스케줄러 기동/종료, /health/keys 추가
- README: .env 복사 안내 보강
스모크 테스트 (실제 키 사용) 결과:
KIS token : ok (token 346자 발급)
KIS daily : 005930 11rows
DART list : 005930 30일 10건
Naver news : 005930 12건
Google RSS : "삼성전자" 92건
Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
94 lines
3.4 KiB
Python
94 lines
3.4 KiB
Python
"""5년치 백필 CLI.
|
|
|
|
사용 예:
|
|
# 한 종목, 명시 기간
|
|
python -m app.pipelines.backfill --code 005930 --from 2020-01-01 --to 2025-12-31
|
|
|
|
# 시드 10종목 일괄, 기본 5년
|
|
python -m app.pipelines.backfill --all-seed --years 5
|
|
|
|
# 시드 + 거시 지표
|
|
python -m app.pipelines.backfill --all-seed --include-macro
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
import argparse
|
|
import json
|
|
import logging
|
|
from datetime import date, timedelta
|
|
|
|
from app.fetch import macro as macro_mod
|
|
from app.fetch import pykrx_helper
|
|
from app.fetch import symbols_seed
|
|
from app.seed.seed_tickers import SEED_TICKERS
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
|
|
def _parse_date(s: str) -> date:
|
|
return date.fromisoformat(s)
|
|
|
|
|
|
def cmd_backfill_code(code: str, start: date, end: date) -> dict:
|
|
res_ohlcv = pykrx_helper.fetch_ohlcv_daily(code, start, end)
|
|
res_trade = pykrx_helper.fetch_trading_value(code, start, end)
|
|
return {
|
|
"code": code,
|
|
"pykrx_ohlcv": {"status": res_ohlcv.status(), "inserted": res_ohlcv.inserted,
|
|
"updated": res_ohlcv.updated, "error": res_ohlcv.error},
|
|
"pykrx_trading_value": {"status": res_trade.status(), "inserted": res_trade.inserted,
|
|
"updated": res_trade.updated, "error": res_trade.error},
|
|
}
|
|
|
|
|
|
def main(argv: list[str] | None = None) -> int:
|
|
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(name)s: %(message)s")
|
|
p = argparse.ArgumentParser(description="pykrx 5년치 백필")
|
|
p.add_argument("--code", help="단일 종목 코드 (예: 005930)")
|
|
p.add_argument("--from", dest="start", help="시작일 YYYY-MM-DD")
|
|
p.add_argument("--to", dest="end", help="종료일 YYYY-MM-DD")
|
|
p.add_argument("--years", type=int, default=5, help="명시 기간 없을 때 최근 N년 (기본 5)")
|
|
p.add_argument("--all-seed", action="store_true", help="시드 10종목 일괄")
|
|
p.add_argument("--seed-symbols-table", action="store_true",
|
|
help="KRX 전 종목 symbols 테이블에 시드 (검색 UX용)")
|
|
p.add_argument("--include-macro", action="store_true", help="거시 지표 (KOSPI/USDKRW/^TNX) 동시 적재")
|
|
args = p.parse_args(argv)
|
|
|
|
end = _parse_date(args.end) if args.end else date.today()
|
|
start = _parse_date(args.start) if args.start else (end - timedelta(days=365 * args.years))
|
|
|
|
summary: dict = {}
|
|
|
|
if args.seed_symbols_table:
|
|
rep = symbols_seed.seed_symbols()
|
|
summary["symbols_seed"] = {
|
|
"inserted": rep.inserted,
|
|
"updated": rep.updated,
|
|
"seed_marked": rep.seed_marked,
|
|
"markets": rep.markets,
|
|
}
|
|
|
|
if args.code:
|
|
summary["backfill"] = [cmd_backfill_code(args.code, start, end)]
|
|
elif args.all_seed:
|
|
results = []
|
|
for t in SEED_TICKERS:
|
|
logger.info("backfill %s %s..%s", t.code, start, end)
|
|
results.append(cmd_backfill_code(t.code, start, end))
|
|
summary["backfill"] = results
|
|
|
|
if args.include_macro:
|
|
macros = macro_mod.fetch_macro_daily(years=args.years)
|
|
summary["macro"] = [
|
|
{"key": m.key, "status": m.status(), "inserted": m.inserted,
|
|
"updated": m.updated, "error": m.error}
|
|
for m in macros
|
|
]
|
|
|
|
print(json.dumps(summary, ensure_ascii=False, indent=2, default=str))
|
|
return 0
|
|
|
|
|
|
if __name__ == "__main__":
|
|
raise SystemExit(main())
|