fix(seed): SEED 10종목 항상 보장 + KRX 실패 graceful degrade + 수동 reseed API

문제: 빌드/기동은 성공했는데 종목 검색 결과 빈 화면. 원인은 시드 트랜잭션
구조 — `_fetch_market_listing(KRX)` 가 `with engine.begin()` 블록 *밖*에서
호출되고, 컨테이너에서 KRX 서버 접근이 실패하거나 단일 ticker 처리 중
한 곳이라도 예외가 나면 전체 트랜잭션이 롤백되어 SEED_TICKERS 10개조차
들어가지 않음.

수정:
- `_upsert_seed_tickers()` 분리. SEED 10종목 전용 트랜잭션. 네트워크 무관.
- `seed_symbols()` 가 (1) SEED 먼저 → (2) KRX 시장별 fetch (try-per-market)
  → (3) 전 종목 bulk upsert (별도 트랜잭션) 순서로 동작. KRX fetch 실패해도
  SEED 는 살아남음.
- `main.py` lifespan bootstrap 이 SEED upsert 를 매 부팅마다 무조건 실행
  (10회, ms 단위, idempotent). count <= 10 일 때만 KRX 전 종목 fetch.
- 새 admin 엔드포인트 `POST /api/refresh/seed/symbols` — 컨테이너 재기동
  없이 시드 재시도 가능.

이번 사례 (사금향 PC) 의 복구 절차:
    curl -X POST http://localhost:8000/api/refresh/seed/symbols
이후 검색에 SEED 10 종목은 즉시 떠야 함. KRX 가 막힌 환경이면 markets={0,0}
가 응답에 찍히고, 그래도 SEED 만으로 핵심 동작은 가능.
This commit is contained in:
tkrmagid
2026-05-21 02:31:49 +09:00
parent 2c42c1151c
commit 296bd6dccd
3 changed files with 103 additions and 42 deletions

View File

@@ -41,56 +41,89 @@ def _fetch_market_listing(market: str) -> list[tuple[str, str]]:
return out
def seed_symbols() -> SeedReport:
"""KOSPI + KOSDAQ 전 종목을 upsert. SEED 10 종목은 is_seed=TRUE."""
rows: list[tuple[str, str, str]] = [] # (code, name, market)
market_counts: dict[str, int] = {}
for market in ("KOSPI", "KOSDAQ"):
listing = _fetch_market_listing(market)
market_counts[market] = len(listing)
for code, name in listing:
rows.append((code, name, market))
def _upsert_seed_tickers() -> int:
"""SEED 10종목 강제 upsert. 네트워크 불필요 → KRX 실패와 무관하게 항상 성공.
별도 트랜잭션이라 KRX 시드가 나중에 실패해도 살아남는다.
"""
engine = get_engine()
inserted = updated = 0
seed_marked = 0
with engine.begin() as conn:
for code, name, market in rows:
is_seed = code in SEED_CODES
res = conn.execute(
text(
"""
INSERT INTO symbols (code, name, market, is_seed)
VALUES (:code, :name, :market, :is_seed)
ON CONFLICT (code) DO UPDATE
SET name = EXCLUDED.name,
market = EXCLUDED.market,
is_seed = symbols.is_seed OR EXCLUDED.is_seed
RETURNING (xmax = 0) AS inserted
"""
),
{"code": code, "name": name, "market": market, "is_seed": is_seed},
)
row = res.first()
if row and row[0]:
inserted += 1
else:
updated += 1
if is_seed:
seed_marked += 1
# SEED_TICKERS 중 KRX 리스팅에 없으면 (상장폐지 등) 그래도 명시적으로 시드 row 보장
for t in SEED_TICKERS:
conn.execute(
text(
"""
INSERT INTO symbols (code, name, market, is_seed)
VALUES (:code, :name, :market, TRUE)
ON CONFLICT (code) DO UPDATE SET is_seed = TRUE
ON CONFLICT (code) DO UPDATE
SET name = EXCLUDED.name,
market = EXCLUDED.market,
is_seed = TRUE
"""
),
{"code": t.code, "name": t.name, "market": t.market},
)
return len(SEED_TICKERS)
def seed_symbols() -> SeedReport:
"""KOSPI + KOSDAQ 전 종목을 upsert. SEED 10 종목은 is_seed=TRUE.
순서:
1) SEED_TICKERS 먼저 별도 트랜잭션으로 강제 upsert (KRX 실패와 무관하게 검색 가능)
2) KRX 리스팅 fetch (네트워크 의존) → 별도 트랜잭션으로 일괄 upsert.
시장별 fetch 실패 시 해당 시장만 스킵하고 나머지 진행.
"""
# 1) SEED_TICKERS — 항상 보장
try:
_upsert_seed_tickers()
seed_marked = len(SEED_TICKERS)
logger.info("seed_symbols: seed-tickers upserted (%d)", seed_marked)
except Exception: # noqa: BLE001
logger.exception("seed_symbols: seed-tickers upsert failed (critical)")
seed_marked = 0
# 2) KRX 전 종목 — fetch 실패해도 부분 성공 허용
market_counts: dict[str, int] = {}
all_rows: list[tuple[str, str, str]] = []
for market in ("KOSPI", "KOSDAQ"):
try:
listing = _fetch_market_listing(market)
market_counts[market] = len(listing)
for code, name in listing:
all_rows.append((code, name, market))
logger.info("seed_symbols: KRX %s fetched (%d)", market, len(listing))
except Exception: # noqa: BLE001
logger.exception("seed_symbols: KRX %s fetch failed — skip market", market)
market_counts[market] = 0
inserted = updated = 0
if all_rows:
engine = get_engine()
try:
with engine.begin() as conn:
for code, name, market in all_rows:
is_seed = code in SEED_CODES
res = conn.execute(
text(
"""
INSERT INTO symbols (code, name, market, is_seed)
VALUES (:code, :name, :market, :is_seed)
ON CONFLICT (code) DO UPDATE
SET name = EXCLUDED.name,
market = EXCLUDED.market,
is_seed = symbols.is_seed OR EXCLUDED.is_seed
RETURNING (xmax = 0) AS inserted
"""
),
{"code": code, "name": name, "market": market, "is_seed": is_seed},
)
row = res.first()
if row and row[0]:
inserted += 1
else:
updated += 1
except Exception: # noqa: BLE001
logger.exception("seed_symbols: KRX bulk upsert failed (transaction rolled back)")
logger.info(
"seed_symbols done: inserted=%d updated=%d seed_marked=%d markets=%s",