fix(seed): SEED 10종목 항상 보장 + KRX 실패 graceful degrade + 수동 reseed API
문제: 빌드/기동은 성공했는데 종목 검색 결과 빈 화면. 원인은 시드 트랜잭션
구조 — `_fetch_market_listing(KRX)` 가 `with engine.begin()` 블록 *밖*에서
호출되고, 컨테이너에서 KRX 서버 접근이 실패하거나 단일 ticker 처리 중
한 곳이라도 예외가 나면 전체 트랜잭션이 롤백되어 SEED_TICKERS 10개조차
들어가지 않음.
수정:
- `_upsert_seed_tickers()` 분리. SEED 10종목 전용 트랜잭션. 네트워크 무관.
- `seed_symbols()` 가 (1) SEED 먼저 → (2) KRX 시장별 fetch (try-per-market)
→ (3) 전 종목 bulk upsert (별도 트랜잭션) 순서로 동작. KRX fetch 실패해도
SEED 는 살아남음.
- `main.py` lifespan bootstrap 이 SEED upsert 를 매 부팅마다 무조건 실행
(10회, ms 단위, idempotent). count <= 10 일 때만 KRX 전 종목 fetch.
- 새 admin 엔드포인트 `POST /api/refresh/seed/symbols` — 컨테이너 재기동
없이 시드 재시도 가능.
이번 사례 (사금향 PC) 의 복구 절차:
curl -X POST http://localhost:8000/api/refresh/seed/symbols
이후 검색에 SEED 10 종목은 즉시 떠야 함. KRX 가 막힌 환경이면 markets={0,0}
가 응답에 찍히고, 그래도 SEED 만으로 핵심 동작은 가능.
This commit is contained in:
@@ -4,6 +4,10 @@ POST /api/refresh/{code}
|
|||||||
body: 없음
|
body: 없음
|
||||||
query: ?lookback_days=7 (기본)
|
query: ?lookback_days=7 (기본)
|
||||||
resp: refresh_one.RefreshReport.to_dict()
|
resp: refresh_one.RefreshReport.to_dict()
|
||||||
|
|
||||||
|
POST /api/refresh/seed/symbols
|
||||||
|
symbols 테이블 강제 재시드 (SEED 10 + KRX 전 종목). 부팅 시 시드가 실패한
|
||||||
|
경우 컨테이너 재기동 없이 복구하기 위한 admin 엔드포인트.
|
||||||
"""
|
"""
|
||||||
from __future__ import annotations
|
from __future__ import annotations
|
||||||
|
|
||||||
@@ -11,6 +15,7 @@ from fastapi import APIRouter, HTTPException, Query
|
|||||||
from sqlalchemy import text
|
from sqlalchemy import text
|
||||||
|
|
||||||
from app.db.connection import get_engine
|
from app.db.connection import get_engine
|
||||||
|
from app.fetch.symbols_seed import seed_symbols
|
||||||
from app.pipelines.refresh_one import refresh_code
|
from app.pipelines.refresh_one import refresh_code
|
||||||
|
|
||||||
router = APIRouter(prefix="/api", tags=["refresh"])
|
router = APIRouter(prefix="/api", tags=["refresh"])
|
||||||
@@ -33,3 +38,19 @@ def refresh_endpoint(
|
|||||||
raise HTTPException(status_code=404, detail=f"unknown code: {code} (symbols 테이블에 없음. 시드 필요)")
|
raise HTTPException(status_code=404, detail=f"unknown code: {code} (symbols 테이블에 없음. 시드 필요)")
|
||||||
report = refresh_code(code, name, lookback_days=lookback_days)
|
report = refresh_code(code, name, lookback_days=lookback_days)
|
||||||
return report.to_dict()
|
return report.to_dict()
|
||||||
|
|
||||||
|
|
||||||
|
@router.post("/refresh/seed/symbols")
|
||||||
|
def reseed_symbols() -> dict:
|
||||||
|
"""symbols 테이블 강제 재시드.
|
||||||
|
|
||||||
|
호출 예 (Windows cmd):
|
||||||
|
curl -X POST http://localhost:8000/api/refresh/seed/symbols
|
||||||
|
"""
|
||||||
|
report = seed_symbols()
|
||||||
|
return {
|
||||||
|
"inserted": report.inserted,
|
||||||
|
"updated": report.updated,
|
||||||
|
"seed_marked": report.seed_marked,
|
||||||
|
"markets": report.markets,
|
||||||
|
}
|
||||||
|
|||||||
@@ -41,21 +41,67 @@ def _fetch_market_listing(market: str) -> list[tuple[str, str]]:
|
|||||||
return out
|
return out
|
||||||
|
|
||||||
|
|
||||||
|
def _upsert_seed_tickers() -> int:
|
||||||
|
"""SEED 10종목 강제 upsert. 네트워크 불필요 → KRX 실패와 무관하게 항상 성공.
|
||||||
|
|
||||||
|
별도 트랜잭션이라 KRX 시드가 나중에 실패해도 살아남는다.
|
||||||
|
"""
|
||||||
|
engine = get_engine()
|
||||||
|
with engine.begin() as conn:
|
||||||
|
for t in SEED_TICKERS:
|
||||||
|
conn.execute(
|
||||||
|
text(
|
||||||
|
"""
|
||||||
|
INSERT INTO symbols (code, name, market, is_seed)
|
||||||
|
VALUES (:code, :name, :market, TRUE)
|
||||||
|
ON CONFLICT (code) DO UPDATE
|
||||||
|
SET name = EXCLUDED.name,
|
||||||
|
market = EXCLUDED.market,
|
||||||
|
is_seed = TRUE
|
||||||
|
"""
|
||||||
|
),
|
||||||
|
{"code": t.code, "name": t.name, "market": t.market},
|
||||||
|
)
|
||||||
|
return len(SEED_TICKERS)
|
||||||
|
|
||||||
|
|
||||||
def seed_symbols() -> SeedReport:
|
def seed_symbols() -> SeedReport:
|
||||||
"""KOSPI + KOSDAQ 전 종목을 upsert. SEED 10 종목은 is_seed=TRUE."""
|
"""KOSPI + KOSDAQ 전 종목을 upsert. SEED 10 종목은 is_seed=TRUE.
|
||||||
rows: list[tuple[str, str, str]] = [] # (code, name, market)
|
|
||||||
|
순서:
|
||||||
|
1) SEED_TICKERS 먼저 별도 트랜잭션으로 강제 upsert (KRX 실패와 무관하게 검색 가능)
|
||||||
|
2) KRX 리스팅 fetch (네트워크 의존) → 별도 트랜잭션으로 일괄 upsert.
|
||||||
|
시장별 fetch 실패 시 해당 시장만 스킵하고 나머지 진행.
|
||||||
|
"""
|
||||||
|
# 1) SEED_TICKERS — 항상 보장
|
||||||
|
try:
|
||||||
|
_upsert_seed_tickers()
|
||||||
|
seed_marked = len(SEED_TICKERS)
|
||||||
|
logger.info("seed_symbols: seed-tickers upserted (%d)", seed_marked)
|
||||||
|
except Exception: # noqa: BLE001
|
||||||
|
logger.exception("seed_symbols: seed-tickers upsert failed (critical)")
|
||||||
|
seed_marked = 0
|
||||||
|
|
||||||
|
# 2) KRX 전 종목 — fetch 실패해도 부분 성공 허용
|
||||||
market_counts: dict[str, int] = {}
|
market_counts: dict[str, int] = {}
|
||||||
|
all_rows: list[tuple[str, str, str]] = []
|
||||||
for market in ("KOSPI", "KOSDAQ"):
|
for market in ("KOSPI", "KOSDAQ"):
|
||||||
|
try:
|
||||||
listing = _fetch_market_listing(market)
|
listing = _fetch_market_listing(market)
|
||||||
market_counts[market] = len(listing)
|
market_counts[market] = len(listing)
|
||||||
for code, name in listing:
|
for code, name in listing:
|
||||||
rows.append((code, name, market))
|
all_rows.append((code, name, market))
|
||||||
|
logger.info("seed_symbols: KRX %s fetched (%d)", market, len(listing))
|
||||||
|
except Exception: # noqa: BLE001
|
||||||
|
logger.exception("seed_symbols: KRX %s fetch failed — skip market", market)
|
||||||
|
market_counts[market] = 0
|
||||||
|
|
||||||
engine = get_engine()
|
|
||||||
inserted = updated = 0
|
inserted = updated = 0
|
||||||
seed_marked = 0
|
if all_rows:
|
||||||
|
engine = get_engine()
|
||||||
|
try:
|
||||||
with engine.begin() as conn:
|
with engine.begin() as conn:
|
||||||
for code, name, market in rows:
|
for code, name, market in all_rows:
|
||||||
is_seed = code in SEED_CODES
|
is_seed = code in SEED_CODES
|
||||||
res = conn.execute(
|
res = conn.execute(
|
||||||
text(
|
text(
|
||||||
@@ -76,21 +122,8 @@ def seed_symbols() -> SeedReport:
|
|||||||
inserted += 1
|
inserted += 1
|
||||||
else:
|
else:
|
||||||
updated += 1
|
updated += 1
|
||||||
if is_seed:
|
except Exception: # noqa: BLE001
|
||||||
seed_marked += 1
|
logger.exception("seed_symbols: KRX bulk upsert failed (transaction rolled back)")
|
||||||
|
|
||||||
# SEED_TICKERS 중 KRX 리스팅에 없으면 (상장폐지 등) 그래도 명시적으로 시드 row 보장
|
|
||||||
for t in SEED_TICKERS:
|
|
||||||
conn.execute(
|
|
||||||
text(
|
|
||||||
"""
|
|
||||||
INSERT INTO symbols (code, name, market, is_seed)
|
|
||||||
VALUES (:code, :name, :market, TRUE)
|
|
||||||
ON CONFLICT (code) DO UPDATE SET is_seed = TRUE
|
|
||||||
"""
|
|
||||||
),
|
|
||||||
{"code": t.code, "name": t.name, "market": t.market},
|
|
||||||
)
|
|
||||||
|
|
||||||
logger.info(
|
logger.info(
|
||||||
"seed_symbols done: inserted=%d updated=%d seed_marked=%d markets=%s",
|
"seed_symbols done: inserted=%d updated=%d seed_marked=%d markets=%s",
|
||||||
|
|||||||
@@ -48,19 +48,26 @@ def _bootstrap_db() -> None:
|
|||||||
logger.exception("bootstrap migrate failed")
|
logger.exception("bootstrap migrate failed")
|
||||||
return # 스키마 없으면 시드 불가
|
return # 스키마 없으면 시드 불가
|
||||||
|
|
||||||
# 2) symbols 시드 (비어있을 때만 — pykrx 호출이 비싸므로 항상 돌리지 않음)
|
# 2) symbols 시드
|
||||||
|
# - SEED 10종목은 매 부팅마다 무조건 upsert (10회 upsert, ms 단위, 네트워크 무관)
|
||||||
|
# → KRX 접근 실패한 환경에서도 최소 10종목 검색 보장
|
||||||
|
# - KRX 전 종목 fetch 는 symbols 가 비어있을 때만 (호출 비용 큼)
|
||||||
try:
|
try:
|
||||||
|
from app.fetch.symbols_seed import _upsert_seed_tickers, seed_symbols
|
||||||
|
n_seed = _upsert_seed_tickers()
|
||||||
|
logger.info("bootstrap seed-tickers ensured (%d)", n_seed)
|
||||||
|
|
||||||
eng = get_engine()
|
eng = get_engine()
|
||||||
with eng.connect() as conn:
|
with eng.connect() as conn:
|
||||||
row = conn.execute(text("SELECT COUNT(*) FROM symbols")).first()
|
row = conn.execute(text("SELECT COUNT(*) FROM symbols")).first()
|
||||||
count = int(row[0]) if row else 0
|
count = int(row[0]) if row else 0
|
||||||
if count == 0:
|
if count <= n_seed:
|
||||||
logger.info("symbols empty — running initial seed")
|
# symbols 가 SEED 만큼 또는 그 이하 → KRX 전 종목 fetch 시도
|
||||||
from app.fetch.symbols_seed import seed_symbols
|
logger.info("symbols sparse (count=%d) — running KRX listing seed", count)
|
||||||
report = seed_symbols()
|
report = seed_symbols()
|
||||||
logger.info("bootstrap seed_symbols: %s", report)
|
logger.info("bootstrap seed_symbols: %s", report)
|
||||||
else:
|
else:
|
||||||
logger.info("symbols already populated (count=%d) — skip seed", count)
|
logger.info("symbols already populated (count=%d) — skip KRX listing seed", count)
|
||||||
except Exception: # noqa: BLE001
|
except Exception: # noqa: BLE001
|
||||||
logger.exception("bootstrap seed_symbols failed")
|
logger.exception("bootstrap seed_symbols failed")
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user