백테스트·소급 검증 결과

진단 전용 — 판정 기준은 전부 사전 고정(결과 보고 튜닝 금지), 신호일 검증은 5종(1·6·11·16·마지막 거래일) 교차. 절대 수치보다 변형 간 상대 비교가 유효합니다. 원문: 레포 reports/*.md

거시지표 모의 보유 매도지표백테스트 결과섹터 분류 피처 현황 용어 사전 레짐 판정 이력

용어·읽는 법 (펼치기)

워크포워드: 각 시점까지 관측된 데이터로만 분기별 재학습해 다음 구간을 예측 — 미래 정보 유입(룩어헤드) 차단.
rank IC: 모델이 매긴 종목 순위와 실제 미래 수익률 순위의 상관(스피어만). 0이면 선택력 없음, 0.05 이상이면 유의미한 편.
Sharpe: 변동성 1단위당 수익(연환산, 무위험 0 가정). 절대 수익이 같아도 출렁임이 크면 낮아진다.
MDD: 최대 낙폭 — 고점 대비 최악의 하락률.
신호일 5종 교차: 월 리밸런스 기준일을 1·6·11·16·마지막 거래일 5가지로 바꿔 평균. 단일 기준일 수치는 날짜 운으로 50%p 이상 벌어지는 것이 실측돼, 이 프로젝트의 검증 표준.
T+1 종가 진입: 신호 다음 거래일 종가에 체결된다고 가정(신호 당일 종가 체결은 룩어헤드).
look-ahead 근사: 과거 시점의 섹터 구성·분류 스냅샷이 없어 현재 것을 소급 — 지금까지 살아남은 종목 정보가 섞여(생존편향) 절대 수치는 부풀려지고 변형 간 상대 비교만 유효.
판정 사전 고정: 채택/보류 기준을 실험 전에 정하고 결과를 보고 바꾸지 않는다. 뒤집히면 되돌린다.

① 모델 비교 — 3모델 워크포워드catboost 채택

배경: 7피처(모멘텀 3종·변동성·거래량변화·PER·ROE)로 20일 수익률을 회귀하는 모델 3종 (catboost/lightgbm/xgboost)을 워크포워드로 비교 · 2023-07~2026-07 · 월 리밸런스 top20 균등 · T+1 종가 진입 · 비용 반영(수수료+거래세) · 선정 규칙(사전 고정): rank IC 순위 + Sharpe 순위 합 최소 → 1회 확정. 회색 막대는 참조 벤치마크(유니버스 균등보유·KOSPI 지수)

rank IC 평균 (종목 선택력)

Sharpe

MDD (최대 낙폭)

해석: 모델은 유니버스(거래대금 상위 500) 안에서는 초과수익을 만들지만, 이 기간 유니버스 자체가 KOSPI 대형주 랠리에 뒤졌다 — 벤치마크 열위의 주원인은 종목 선택력이 아니라 유니버스 구성.

①-1 모델 15년 확장 — 생존편향-프리 워크포워드 (07-18)관찰(판정 없음)

배경: 15년 소급 수집(상폐 788종목 포함) 위에서 동일 모델 파이프라인을 최장 구간으로 재현 — 패널 2016-04~, 예측 2018-04~2026-07(8.3년, 현행 대비 5년 연장) · 신호일 5종 평균 · top20 균등 · 청산 A(월간 교체) · 수수료+거래세 반영 · 유니버스는 시점별 소급 스냅샷(상폐 포함 PIT) · 감자 미수정 점프 정화 적용. 질문 = "모델의 선택력·초과수익이 다른 레짐에서도 유지되는가?"

연도별 모델 수익 — U1(시총500) vs KOSPI

모델 top20 (U1) KOSPI

연도별 rank IC — U0 vs U1

U0 거래대금500 U1 시총500

U0의 IC는 8.3년 매해 양수(평균 0.063) — 소형주에선 선택력이 구조적으로 실재. U1은 평균 0.012로 0 부근 해가 다수 — 대형주에선 모델 기여가 얇다(⑤의 IC 희석 관찰의 장기 확인).

전기간(비용 반영): U1 −15.7% · U0 −67.1% vs KOSPI +179.1% — 생존편향을 걷어내고 기간을 늘리면 절대 성과는 시장 대비 크게 열위. 열위의 축은 (a) 유니버스 베타(U0 침몰·U1도 초대형 랠리 미추종), (b) 신호일 운(8.3년 누적 폭 ~92%p — 트랜치 분할 전환(07-18)의 근거), (c) 거래비용 누적. 최근 3년 스터디(⑤ U1 +31.9%)가 호황 구간 특성을 크게 반영했음을 보여주는 결과. 여기서 드러난 두 약점(대형주 선택력·신호일 운)은 ⑦의 기술 5종·트랜치 전환으로 개선 시도. 한계: 상폐 종목 마지막 체결가 청산 가정, 2018-04 시작(직후 약세장) 시작점 효과. 원문: reports/model_15y_study.md

② 섹터 — 로테이션 5년 & 분류(L2) 필터L2 필터 보류(3회)

배경: 라이브 추천은 KRX 업종지수 RS 상위 5섹터로 후보를 거른다. 자체 구축한 L2 분류(밸류체인 기반 70여 버킷)로 이 필터를 교체할 수 있는지 3회 검증(U0 2회 + U1 전환 후 1회) · 판정 = 신호일 5종 평균 총수익·Sharpe 모두 기존 이상 → 채택 / 로테이션: 2021-07~2026-07 · 상위 3섹터 지수 직접 보유 가정 · 비용 0

섹터 로테이션 5년 — 포트폴리오 vs KOSPI

업종지수 RS 상위 3섹터를 지수로 보유했을 때. 시장을 못 이기지만(대형주 랠리 열위) 아래 레짐 분해가 보여주듯 종목 풀을 좁히는 필터로는 유효.

추천 필터: 기존 vs L2 — 3차 검증(U1 예측, 07-18)

기존 상위5섹터 신규 상위5 L2

모델 예측(U1)을 각 필터로 거른 뒤 top20 보유. look-ahead 근사 — 상대 비교만 유효.

판정 이력: 1차(7/14, U0) 기존 +58.2% vs L2 +46.6% · 2차(7/16, 교정 분류) vs +22.9% · 3차(7/18, U1 예측) 기존 +165.8%/Sharpe 1.13 vs L2 +120.4%/0.89 — 3회 모두 보류, L2는 메일·분류 페이지 표기용으로만 유지. 분류 정확도와 필터 유효성은 별개 문제(업종지수=시총가중 vs L2 버킷=동일가중).

②-1 L2 필터 레짐 분해 — 15년·상폐 포함 (07-18 확장)관찰(판정 없음)

모델 예측 없이 필터 자체를 비교: 상위 5섹터/버킷 구성종목을 월별 균등보유(신호일 5종 평균 · T+1 진입 · 비용 0), 2012~2026을 연 단위로 분해. 15년 소급 수집(상폐 788종목 포함) 후 확장 — 스코프(유니버스·전체)는 생존편향 없음, 필터 구성종목은 현재 분류 소급(상대 비교만 유효). 감자 미수정 등 데이터 결함 110건은 소급 연속화로 정화. 질문 = "L2 열세가 특정 레짐(호황) 탓인가?"

U1(시총500) 스코프 — 연도별 수익 (2012~)

기존 상위5섹터 신규 상위5 L2 KOSPI

연도별 격차 (신규L2 − 기존, U1 스코프)

양수(초록) = L2 우세. 14.5년 전기간은 U1 스코프 L2 우위(+231.5% vs +157.5%)지만 전체 스코프는 반대(+407.1% vs +499.2%), U0는 대등 — 스코프·시대별로 엎치락뒤치락, 구조적 우위 없음. 최근 호황(2025~26)은 일관되게 기존 우세.

유니버스 장기 검증 — 전기간(14.5년) 균등보유

필터 없이 유니버스만: U0(거래대금500)는 15년 내내 열위(−30%) — U1 전환(⑤) 판단의 장기 소급 실증. 상폐 포함이라 생존편향 없는 수치.

관찰(15년): 5년 관찰에서 보였던 "L2 약세장 방어" 패턴은 2022에선 성립(+14.6%p)하나 2018 약세장(−4.7%p)에선 반대 — 레짐 규칙성보다는 시대별 요동이 실체에 가깝다. 교체 근거 없음(보류 3회)은 15년에서도 유지. 참고: 데이터가 7/16까지 연장되며 7월 KOSPI −19.5% 조정이 2026 구간에 반영됨. 원문: reports/sector_taxonomy_regime_study_full.md (5년판 정화 재실행: 동 _study.md)

③ 거시 — 피처 편입 & 레짐 가드피처 보류R2 가드 채택

배경: 거시(VIX·금리·환율·유가 등) 활용을 두 갈래로 검증 — (좌) 모델 피처로 10개 추가한 A/B, 판정 = IC 개선 AND Sharpe 비열화 / (우) 레짐 가드: 피처 대신 시장 급변 시 매수를 멈추는 규칙. R2 = VIX 60일 z점수 > +1이면 그 달 신규 매수 중단(보유는 유지, 빈 추천 발행) · 신호일 5종 · 판정 = 평균 Sharpe ≥ BASE AND MDD 축소

피처 트라이얼 A/B

A: 7피처 B: +거시 10피처

레짐 가드 — BASE vs R2(VIX z>+1 신규매수 중단)

BASE(전체 풀) R2 가드

거시 피처는 IC는 악화, Sharpe는 개선 — 수급과 정반대(거시는 "무엇을"이 아니라 "언제"에 기여) → 피처 대신 R2 변동성 가드만 라이브 연결(평균 Sharpe -0.06→+0.05, MDD -46.0→-42.8%). R1(신용) -0.21로 보류, R3(경기)는 발동 0으로 판정 불가.

④ 수급 — 외인·기관 순매수 피처편입 보류

배경: 외국인·기관 순매수가 종목 선택에 정보가 되는지 A/B — frgn_net_20d·inst_net_20d = 외국인·기관의 20일 누적 순매수대금(시총 대비) 피처 2종 추가 · catboost 고정 · 판정 = IC 개선 AND Sharpe 비열화 · 수급 데이터는 2021-04부터(초기 학습창 결측 한계)

피처 트라이얼 A/B

A: 7피처 B: +수급 2피처

연도별 rank IC 차 (B − A)

최근 2년(2025~)은 개선 — 편입은 보류하되 후속 재평가 근거로 기록.

B 피처 중요도 (catboost)

IC는 개선(+0.0083)됐지만 Sharpe 0.20→0.08 열화 — 사전 고정 기준(둘 다 충족) 미달로 보류.

⑤ 유니버스 재설계 — 대안 유니버스 A/B (2026-07-17)U1 채택 → 07-17 라이브 전환

배경: 모델이 고르는 후보 풀 500종목을 무엇으로 뽑을지 4안 비교 — U0 거래대금 상위500(구 라이브) · U1 시가총액 상위500 · U2 둘의 합집합 · U3 KOSPI200+KOSDAQ150 지수 근사. 각 유니버스로 패널을 새로 만들어 동일 모델을 워크포워드 재학습 · 신호일 5종 교차 · 청산 A(라이브 정합)·비용 반영 · 판정(사전 고정) = 평균 Sharpe·총수익 모두 U0 이상 AND rank IC>0, 복수 통과 시 Sharpe 1위 · 같은 구간 KOSPI +193.9%

평균 총수익 (신호일 5종)

평균 Sharpe

평균 rank IC (종목 선택력)

해석: U1(시총500)이 수익·Sharpe·MDD 전부 우위지만 IC는 0.082→0.018로 희석 — 개선분의 대부분은 유니버스 베타(대형주 랠리 편승)이고 대형주 안에서 모델의 선택력은 얇다. U0 열위의 주원인이 유니버스 구성이라는 모델 비교(①)의 해석을 실증. 2026-07-17 라이브 전환 완료 (패널 U1 소급 교체·뉴스는 과도기 합집합 수집, 과거 스냅샷은 U0 이력 보존).

⑥ 청산 규칙 — 매도 규칙 5종 소급 검증 (2026-07-14)A 채택 → 07-16 라이브 전환

배경: 모의 보유를 언제 파는 게 나은지 매도 규칙 5안을 같은 매수 신호 위에서 소급 비교 · 신호일 5종 교차 · 비용 반영(수수료+거래세) · 판정(사전 고정) = 평균 Sharpe 1위(동률 시 MDD) · 후보: A 월간 목록 교체(최신 추천에 없으면 매도) / E1 볼린저 상단·하단+만료28일(구 C안) / E2 손절만 / E3 트레일링 10%(고점 대비 -10% 이탈 시 매도) / E4 상단+트레일링

평균 Sharpe (신호일 5종)

평균 보유일

개별 청산(볼린저·트레일링) 전 후보가 A(모델 20일 지평과 정합하는 월간 교체)에 열위 — 소형·고변동 유니버스에서 반등을 놓치고 회전 비용만 쌓임. 이 판정으로 2026-07-16 모의 매도를 C(E1)→A로 전환(가상 C는 섀도우 대조군으로 계속 축적).

⑦ 개선 후보 검증 (2026-07-18)트랜치 라이브 전환기술 5종 라이브 반영수급 재보류

배경: 15년 확장에서 확인된 두 약점(신호일 운 폭 ~92%p, U1 대형주 IC 0.012)의 개선 후보 3종 검증. 전부 기존 예측/패널 캐시 위 재실험 · 판정 사전 고정 · ①②는 2026-07-18 사용자 승인으로 라이브 전환 완료, 첫 실동작 07-21

트랜치 5분할 — 신호일 운 제거 (U1 3년)

월 매수를 5신호일에 1/5씩 분산. 평균 수익 유지(단일 평균 +17.2%)하면서 최악 신호일(−15.3%)·MDD를 개선 — 15년 구간에서도 기준 통과, U0만 보류. → 2026-07-18 실전환 완료(신호일 5종 슬리브 독립 A매도·매수, 추천 월간 동결, 원장 귀속 — 모의 전용. 주문 경로 리뷰 CONFIRMED 10건 수리 후 배포).

U1 기술 피처 5종 — 신호일별 rank IC

A: 현행 7피처 B: +기술 5피처

15년 패널 A/B — IC 평균 0.012→0.031로 전 오프셋 개선, Sharpe 0.07→0.08 비열화 없음. 추가 피처: ret_120d·52주고점 거리·vol_60d·MA60 괴리·거래대금 활성비. → 2026-07-18 라이브 반영(12피처 패널 재생성 — 신구 top20 겹침 5/20, 다음 신호일부터 보유 상당 교체 예상).

수급 2피처 재평가 (U1 3년)

A: 7피처 B: +수급 2피처

U1(대형주)에서도 U0과 동일한 IC-Sharpe 괴리 재현(IC 0.018→0.026 개선, Sharpe 0.31→0.24 열화) — 사전 고정 기준 미달로 재보류.

부수 기록: 감자 미수정 점프 정화의 라이브 연결 시도는 리뷰(19에이전트)에서 철회 — 크기 기준만으론 거래재개 재평가(실경제 이벤트)와 구분 불가. → 2026-07-18 상장주식수 대조 가드로 라이브 배포: 주식수 감소가 확인된 점프만 기계 배율 소급 보정(제일바이오 표시 +29,948% = 실제 −80%), 이벤트 인접 시점 행은 날짜-국소 제외. 현 U1 이력 영향은 3행 제외뿐(top20 상위권 불변 — 무영향 확인이 곧 소급 검증). 연간 수익률 리포트도 동일 보정 적용. 원문: reports/tranche_study.md · feature_trial_u1_15y.md · flow_trial_u1_3y.md

⑧ 밸류(PER·PBR 저평가) 스크린·피처 검증 (2026-07-18)스크린 관찰(미채택)피처 보류

질문: 섹터별 저평가 종목을 뽑으면 수익이 되나 — KRX 공표 PER·PBR(신호일 당일·0=결측 제외), U1(시총500), top20 월간 교체·T+1·비용·감자 가드, 신호일 5종 교차. 섹터=멤버십 스냅샷 소급 근사.

U1 3년 (2021-07~) — 총수익 5신호일 평균

저평가–고평가 스프레드 ~105%p, 전 신호일 같은 방향. 의외로 섹터 중립화(V1)가 전체 저평가(V2)보다 열위 — "비싼 섹터의 덜 비싼 것"까지 사게 되는 비용.

U1 15년 (2012+) — 총수익 5신호일 평균

밸류 프리미엄 15년 일관(스프레드 ~224%p). 같은 이력의 모델(①-1 U1 −15.7%)과 대비하면 단순 스크린의 강건성이 두드러짐 — 다만 지수(+262%)에는 열위(밸류 틸트의 베타 열세).

모델 피처 주입 A/B (15년 패널) — 보류

A: 현행 12피처 B: +밸류 2피처

value_global·value_sector를 피처로 추가하면 IC·Sharpe 모두 열화(5신호일 전부 IC 하락) — 사전 고정 기준 미달로 보류. 스크린(규칙)으로는 강하고 피처(모델)로는 해로운 대비: 모멘텀 학습과 섞이며 희석되는 것으로 해석.

원문: reports/value_sector_study.md · value_sector_study_full.md · value_feature_trial_u1_15y.md. 라이브 변경 없음(관찰) — 후속: ⑨ 배당 스크린(아래), 재무 파생(성장·퀄리티)은 미착수.

⑨ 배당(DIV) 스크린·피처 검증 (2026-07-18)방어 슬리브 성격피처 보류

KRX 공표 배당수익률(직전 결산 배당/현재가, 신호일 당일·0=무배당 보존), U1 top20 월간 교체· T+1·비용·감자 가드, 신호일 5종 교차. 배당 현금흐름 미반영(가격 수익만) — 선택 종목 평균 배당률 6.15%라 고배당 변형에 보수적. PIT 확인: 삼성전자 FY2020 특별배당(01-28 발표)의 DIV 반영은 05-03 = 지연 반영.

U1 15년 (2012+) — 총수익 5신호일 평균

누적 기준으로는 검증한 규칙 중 유일하게 KOSPI(+248.1%/Sharpe 0.55)를 상회 (밸류 V2 +184%도, 모델 −15.7%도 열위). 신호일 폭 312~379%로 날짜 운에도 둔감. 단 아래 레짐 분해가 이 요약을 수정한다 — 우위의 출처가 알파가 아니다.

레짐 분해 — D2 초과 (복리 기준)

막대는 그 레짐 연도들만 이어붙인 복리 기준 초과(산술 평균은 한 해가 버킷을 왜곡한다). 연 평균 초과는 −0.4%p·승률 8/15로 산술 우위가 없는데, 하락장 4년만 전부 초과하고 상승장 11년은 열위 — 누적 곡선의 우위는 "덜 잃어서 복리가 덜 깨진" 결과다. 즉 알파가 아니라 방어(저베타) 슬리브이며 최근 3년 열위도 예외가 아니다. 단 라벨은 사후적이라 "하락장에만 켠다"는 운용의 근거로는 쓸 수 없다(사전 판정 신호가 따로 필요).

감배 예측 필터 A/B — 보류(3기준 중 2충족)

고배당 top20의 다음 해 감배율이 45.5%(시장 전체 18%의 2.5배) — value trap이 구조적으로 섞인다. 감배 분류기(AUC 0.655, 연도 워크포워드)로 상위 20% 확률 종목을 빼자 감배율 29.5%·하락장 방어 개선까지는 됐지만 15년 총수익이 −67%p 깎여 사전 고정 기준 ③에 걸렸다. 상승 연도 수익을 함께 잃은 것(2021 +35.0%→+21.8%)이 원인.

모델 피처 주입 A/B (패널) — 보류

A: 현행 12피처 B: +배당 2피처

div_yield 단독 rank IC +0.061(검증한 단일 피처 중 최고)인데, 주입하면 IC는 +0.001 개선·Sharpe는 0.08→0.07 열화로 기준 미달. 수급·밸류에 이은 3연속 동일 패턴 — "단독 IC가 강한 저속 횡단면 신호는 20일 타깃 모델이 못 흡수한다"를 작업 가설로 채택.

원문: reports/dividend_screen_study_full.md · dividend_regime_study.md · dividend_feature_trial_u1.md · dividend_cut_study.md · dividend_cut_filter_ab.md. 라이브 변경 없음(관찰). 리뷰 교훈: 무배당 동점(유니버스 40~50%)을 2차 키 없이 정렬하면 매달 같은 고정 바스켓이 뽑혀 대조군이 +108.7%로 왜곡됐다 — (신호일, 티커) 해시로 동점을 깨 −13.8%로 교정.

⑩ 모델 재비교 — 현행 조건(U1·12피처) 재검증 (2026-07-22) 현행 유지

배경: catboost는 2026-07-05 U0(거래대금500)+7피처 조건에서 선정됐다 (①). 이후 U1 전환(⑤, 07-17)·기술 5종 추가(⑦, 07-18)로 조건이 두 번 바뀌어, 원 선정과 같은 사전 고정 규칙(rank IC 평균 순위 + Sharpe 순위 합 최소)을 현행 조건에 재적용한다 — 15년 U1 패널(①-1 캐시 재사용), 신호일 5종 평균, top20 균등·T+1·청산 A·비용 반영.

신호일 5종 평균 — 모델별 지표

모델	rank IC	Sharpe	순위합	판정
catboost ★	0.0301	0.12	2	선정
xgboost	0.0272	0.10	4
lightgbm	0.0245	0.05	6

판정(사전 고정): catboost — 현재 selected_model(catboost)과 일치 — 현행 유지가 타당. 원문: reports/model_rematch_u1.md. 한계: U1은 IC 희석 인지(⑤), 단일 이력 1회 실험.

공통 한계: 단일 이력 1회 실험(통계적 유의성 아님) · 슬리피지 0·종가 체결 가정 · 섹터 로테이션은 지수 직접 보유 가정(비용 0). 규칙이 소급 검증에서 뒤집히면 되돌린다(지정예고 제외 사례).