[투자 마인드] 퀀트 투자는 마법이 아니다 : 당신의 백테스트가 깡통을 차는 7가지 이유 (1편)

이전 포스팅에서 직장인을 위한 '엑셀 퀀트 시스템'을 소개해 드렸습니다. 많은 분이 "나도 백테스트 한번 돌려볼까?" 하며 관심을 보이셨는데요.

하지만 여기 찬물을 끼얹는 팩트가 하나 있습니다. "연수익률 20%가 나온 백테스트 전략의 99%는 실전에서 깡통을 찬다"는 사실입니다. 저 또한 멋모르고 백테스트 수익률만 믿고 덤볐다가 계좌가 녹아내리는 경험을 했습니다. 오늘은 많은 퀀트 전략이 실전에서 박살 나는 7가지 이유 중 핵심적인 5가지를 짚어보겠습니다. 이 함정들을 피하지 못하면, 퀀트는 투자가 아니라 '수학적 자살 행위'가 됩니다.


함정 1 : 죽은 자는 말이 없다 (생존자 편향)

많은 초보자가 범하는 가장 큰 실수입니다. "지금 존재하는 기업"만 가지고 과거를 테스트합니다. 즉, 과거에 상장 폐지되어 사라진 기업들의 데이터는 쏙 빠져 있는 것이죠.

유명한 '전투기 생존 편향' 그림을 아시나요? 살아 돌아온 비행기의 총알 자국만 보고 방탄판을 보강하면 망합니다. 추락한 비행기는 돌아오지 못했으니까요. 주식도 똑같습니다. 삼성전자, 애플 같은 승자들만 데리고 백테스트를 돌리면 수익률이 엄청나게 뻥튀기됩니다. 사라진 패배자(상장폐지 종목)까지 포함해야 진짜 검증입니다.


함정 2 : 미래를 훔쳐보지 마라 (미래 참조 편향)

"2011년 상위 100개 기업으로 10년치 백테스트를 해봤어!"
이 말이 왜 틀렸을까요? 2011년 시점에는 2021년에 누가 상위 100개가 될지 아무도 모르기 때문입니다.

이것을 'Look-Ahead Bias(미래 참조 편향)'라고 합니다. 알게 모르게 미래의 정보를 과거 시뮬레이션에 끌어다 쓰는 실수죠. 이미 성공한 기업 목록을 알고 과거로 돌아가서 투자하는 건, 로또 번호를 알고 사는 것과 다름없습니다. 저는 이 실수를 피하기 위해 '당시 시점의 데이터'만 사용하는 툴을 고집합니다.


함정 3 : 과거에만 100점, 실전은 0점 (과최적화)

백테스트 수익률을 높이기 위해 조건을 덕지덕지 붙이는 경우가 있습니다.

  • PER은 10 이하이고,
  • PBR은 0.5 이상 0.7 이하이며,
  • 화요일에 사서 목요일에 파는데...

이렇게 과거 데이터에 딱 들어맞는 복잡한 공식을 만들면, 과거 수익률은 예술처럼 나옵니다. 이것을 '과최적화(Overfitting)'라고 합니다. 하지만 이는 '과거의 소음'까지 학습한 결과일 뿐, 미래에는 전혀 통하지 않습니다. 규칙은 단순할수록(Simple) 강력합니다.


▲ 과거 데이터에 끼워 맞춘 과최적화 모델은 미래를 예측하지 못합니다.

함정 4 : 검증은 딱 한 번만 (Test Data 오염)

이 부분이 오늘 내용 중 가장 중요합니다. 데이터를 [학습용][검증용]으로 나눴다면, 검증용 데이터는 최후의 순간에 딱 한 번만 써야 합니다.

제가 겪은 최악의 실수

"어? 검증 데이터(Test)에서 수익이 별로네? 파라미터를 좀 수정해서 다시 돌려보자."

이 순간, 그 전략은 쓰레기통으로 가야 합니다. 검증 데이터를 보고 수정하는 순간, 그것은 이미 '검증'이 아니라 '학습'이 되어버리기 때문입니다. 실전은 두 번의 기회를 주지 않습니다.

에디터의 팁 : In-Sample vs Out-of-Sample

데이터의 70%는 전략을 만드는 데 쓰고(In-Sample), 나머지 30%는 봉인해뒀다가 마지막에 딱 한 번 검증용(Out-of-Sample)으로 쓰세요. 여기서 수익이 나야 진짜 실력입니다.


함정 5 : 시대는 변한다 (마켓 레짐 체인지)

"20년 치 데이터로 검증했으니 완벽해!" 과연 그럴까요? 오히려 최근 3년 데이터가 더 중요할 수도 있습니다. 시장의 성격(Regime)이 바뀌기 때문입니다.

고금리 시대의 전략이 저금리 시대에 먹힐 리 없고, 스마트폰 이전 시대의 전략이 지금 통할 리 없습니다. 단순히 데이터 기간이 길다고 좋은 게 아닙니다. "지금 시장의 성격과 유사한 데이터인가?"를 따져야 합니다.


결론 : 퀀트는 '도깨비 방망이'가 아니다

시중에 "클릭 몇 번으로 연 20% 수익"을 보장한다는 강의나 툴이 있다면 도망치세요. 퀀트 투자는 과거의 데이터 속에서 '아주 희미한 확률적 우위'를 찾아내는 고단한 작업입니다.

하지만 실망하지 마세요. 오늘 다룬 5가지 함정만 피해도, 여러분은 상위 10%의 검증된 투자자가 될 수 있습니다. 다음 2편에서는 나머지 2가지 주의점을 다뤄보겠습니다.

Action Point : 나의 백테스트 점검하기

  • 상장폐지 종목 포함 여부: 내 데이터에 망한 회사도 들어있는가?
  • 단순성 체크: 조건이 너무 많고 복잡하진 않은가? (3~4개 이하 권장)
  • 기간 분리: 학습 기간과 검증 기간을 철저히 분리했는가?


[참고 자료] 본 포스팅은 유튜브 채널 '월가아재의 과학적 투자'님의 영상을 시청한 후, 필자의 개인적인 견해와 투자 인사이트를 더해 작성한 스터디 노트입니다. 투자의 책임은 본인에게 있으며, 더 깊은 내용은 원본 영상을 참고하시기 바랍니다.
원본 영상 보러가기

본 글은 투자의 방향성을 제시할 뿐, 수익을 보장하지 않습니다. 모든 투자의 책임은 투자자 본인에게 있습니다. 끊임없이 공부하고 검증하시기 바랍니다.


Money Pipe Line

안녕하세요, Money Pipe Line입니다. 주식 시장에서 '운'에 기대는 투자는 도박과 같습니다. 이곳은 철저한 기준(Criteria)과 원칙을 세우고, 그것을 검증해 나가는 [머니 파이프라인 랩]입니다. 주력 분야: 세력주 포착, 240일선 눌림목, 퀀트 데이터 분석 목표: 잃지 않는 매매 시스템 구축 초보 투자자가 세력의 의도를 읽고 '스스로 수익을 내는 단계'까지 성장할 수 있도록 실전 데이터를 공유합니다.

다음 이전