machine-learning-for-trading 딥다이브
— ML로 트레이딩 전략을 만드는 800쪽 책의 '코드 실험실'

1프로젝트 한줄 요약

ML4T는 코드를 '돌리는' 라이브러리가 아니라 '배우는' 저장소입니다. 핵심은 단순합니다 — 책의 각 장(章)이 폴더 하나가 되고, 그 안에 개념을 그대로 손으로 만져 볼 수 있는 주피터 노트북들이 들어 있습니다. "이 알고리즘을 트레이딩에 어떻게 쓰는가"를 글이 아니라 실행되는 코드로 보여 주는 게 전부이자 가장 큰 가치입니다.

다루는 범위가 압도적으로 넓습니다. 시장·재무·대체 데이터를 수집하고(1부), 선형모형·트리·군집 같은 고전 ML로 수익을 예측하고(2부), SEC 공시·실적발표 같은 텍스트에서 신호를 캐내고(3부), CNN·RNN·오토인코더·GAN·강화학습 같은 딥러닝으로 트레이딩 에이전트까지 만듭니다(4부). 그리고 모든 장이 결국 한 곳으로 모입니다 — "이 예측이 실제 시장에서 돈이 됐을까?"를 백테스트로 검증하는 것.

2왜 주목받는가

퀀트·ML 책은 많습니다. ML4T가 수년째 GitHub 트렌딩에 다시 오르는 건 "읽는 책"이 아니라 "돌리는 책"이기 때문입니다. 150개가 넘는 노트북이 대부분 이미 실행된 상태(출력·차트 포함)로 저장돼 있어, 클론만 하면 결과를 바로 눈으로 보며 따라갈 수 있습니다.

3기술 스택 전체 지도

ML4T는 처음부터 끝까지 파이썬입니다. 단, 라이브러리 수가 워낙 많아 "한 번에 다 깔지 말고, 장마다 필요한 것만 깔라"고 권합니다(버전 충돌 방지). 핵심은 conda/mamba 환경 하나로 데이터 과학 스택과 트레이딩 전용 도구를 함께 묶는 것입니다.

① 데이터 계층 — 시장·재무·대체 데이터

좋은 모델보다 좋은 데이터가 먼저라는 게 책의 일관된 메시지입니다. 다루는 데이터 소스가 다양합니다.

② 피처·팩터 계층 — 알파를 만드는 도구

원자료를 모델이 먹을 수 있는 신호(피처)로 가공하는 단계입니다.

③ 모델 계층 — 고전 ML부터 딥러닝·강화학습까지

④ 백테스트·평가 계층 — "돈이 됐는가"를 재는 장치

⑤ 실행 환경 — Jupyter · Docker(레거시)

모든 코드는 주피터 노트북으로 제공됩니다(목차 확장 nbextension 활용 권장). 과거엔 appliedai/packt 도커 이미지로 환경을 통째로 배포했지만, zipline-reloaded가 최신 파이썬을 지원하면서 이제 도커 없이 conda만으로 모든 노트북을 돌릴 수 있게 됐습니다(설치 README의 권장 경로).

4아키텍처 심화 분석

이 저장소의 진짜 아키텍처는 폴더 구조가 아니라 책 전체를 관통하는 하나의 작업 흐름입니다. 저자는 이걸 ML4T 워크플로라 부르며, 모든 장이 이 순환의 어느 한 칸을 채웁니다.

핵심 설계 패턴 1 — '예측'과 '전략'을 분리한다

초보자가 가장 많이 하는 착각이 "정확도 높은 모델 = 좋은 전략"입니다. ML4T는 이 둘을 의도적으로 분리합니다. 모델은 '신호(예측 수익률·방향)'만 내놓고, 그 신호를 언제·얼마나 매매할지로 바꾸는 건 별도의 전략 계층이 맡습니다. 그래서 같은 예측이라도 포지션 크기·리밸런싱 주기에 따라 결과가 완전히 달라지죠. 8장에서 모델 예측을 Zipline 백테스트에 '주입'하는 구조가 이 분리의 핵심 예시입니다.

핵심 설계 패턴 2 — 시계열에 맞춘 교차검증

보통 ML은 데이터를 무작위로 섞어 train/test를 나눕니다. 트레이딩에서 이건 치명적입니다 — 미래 데이터로 과거를 학습하는 꼴이라(룩어헤드), 백테스트만 화려하고 실전에선 무너지죠. ML4T는 시계열 교차검증(walk-forward)을 씁니다. 항상 과거로 학습 → 바로 다음 미래 구간으로 검증하고, 그 창을 시간순으로 굴립니다(6장).

# 개념: 시계열 교차검증은 '시간의 벽'을 절대 넘지 않는다
# (무작위 셔플 금지 — 미래로 과거를 학습하면 안 됨)
fold 1:  [학습 ====]      [검증 ▷]
fold 2:  [학습 =======]   [검증 ▷]
fold 3:  [학습 ==========][검증 ▷]
         └─ 항상 과거→미래 방향. 창을 앞으로 굴린다 ─┘

핵심 설계 패턴 3 — 백테스트의 함정을 '먼저' 가르친다

8장은 모델보다 "틀린 백테스트가 어떻게 거짓 수익을 만드는가"를 먼저 짚습니다. 핵심 함정 셋: 룩어헤드 편향(미래 정보 누설), 생존 편향(상장폐지 종목이 데이터에서 빠져 수익률이 부풀려짐), 데이터 스누핑(같은 데이터로 너무 많이 시도해 우연히 좋아 보이는 전략을 고름). 이벤트 기반 엔진(Zipline)을 쓰는 이유도 이 함정들을 구조적으로 막기 위해서입니다.

# 벡터화 vs 이벤트 기반 백테스트의 차이
# 벡터화: 전체 기간을 한꺼번에 계산 → 빠르지만 룩어헤드 실수 쉬움
signals = model.predict(all_data)        # 위험: '전체'를 미리 봄

# 이벤트 기반(Zipline): 하루씩 시간 순서로만 진행 → 미래 못 봄
def handle_data(context, data):       # 매 거래일 호출
    today_features = data.history(...)   # '오늘까지'만 접근 가능
    signal = context.model.predict(today_features)
    order_target_percent(asset, signal)  # 그 시점의 주문만 실행

핵심 설계 패턴 4 — '노트북 하나 = 개념 하나'의 교육 구조

코드가 거대한 애플리케이션이 아니라 150여 개의 독립 노트북으로 쪼개져 있는 것 자체가 설계입니다. 각 노트북은 한 개념을 처음부터 끝까지(데이터 로드 → 모델 → 결과) 자족적으로 보여 줍니다. 덕분에 관심 있는 장만 떼어 실행할 수 있고, 대부분 이미 출력이 저장돼 있어 안 돌려도 결과를 볼 수 있습니다.

5디렉토리 구조 해부

ML4T의 폴더 구조는 외울 게 없습니다. 책의 장 번호가 그대로 폴더 이름이라, 목차를 아는 순간 저장소 지도를 다 아는 셈이죠. 4개의 부(部)로 묶인 24개 폴더 + 공용 데이터/설치 폴더로 구성됩니다.

6학습 포인트 (기술별)

① 피처 엔지니어링 · 알파 팩터 (04 · 24장)

모델보다 중요한 게 입력입니다. TA-Lib로 기술적 지표를 만들고, 웨이블릿·칼만 필터로 노이즈를 줄이고, Alphalens로 "이 팩터가 진짜 예측력이 있나"를 정보계수(IC)·분위수 수익률로 검증하는 흐름은 어떤 ML 분야에도 통하는 기본기입니다.

② 시계열 교차검증 · 과적합 (06 · 07장)

금융 데이터에서 ML이 무너지는 1순위 이유가 과적합과 룩어헤드입니다. "왜 무작위 셔플이 금지인가", "walk-forward는 어떻게 창을 굴리나", "out-of-sample 검증을 왜 더 엄격히 해야 하나"를 손으로 익히면, ML4T 밖의 어떤 시계열 문제에도 적용됩니다.

③ 그래디언트 부스팅 · 모델 해석 (11 · 12장)

표 형태 금융 데이터에서 가장 강한 무기는 여전히 XGBoost·LightGBM·CatBoost입니다. 셋의 차이(부스팅 방식·범주형 처리·속도)와 하이퍼파라미터 튜닝, 그리고 SHAP 값으로 "어떤 피처가 예측을 끌어올렸나"를 해석하는 법은 캐글·실무 어디서든 즉시 쓰입니다.

④ 비지도학습 · 포트폴리오 (13장)

PCA·ICA로 데이터에서 리스크 팩터(고유포트폴리오)를 추출하고, 계층적 군집으로 계층적 리스크 패리티(HRP) 포트폴리오를 짜는 부분은, "수익 예측"을 넘어 "어떻게 자산을 배분해 리스크를 낮추나"라는 다른 축을 가르칩니다.

⑤ 트레이딩을 위한 NLP (14~16장)

SEC 공시·실적발표 녹취록 같은 텍스트에서 매매 신호를 캐는 법입니다. 문서-단어 행렬·나이브베이즈 감성분석 → LDA 토픽모델 → word2vec/doc2vec로 이어지는 NLP 사다리를 '금융 텍스트'라는 구체적 목표로 오르게 합니다. (BERT·트랜스포머는 ch16에서 개념·참고링크로만 소개되며 실행 가능한 파인튜닝 노트북은 없습니다.)

⑥ 딥러닝 4종 + 강화학습 (17~22장)

한 저장소 안에서 CNN(시계열을 이미지로 변환·위성사진), RNN/LSTM(다변량 시계열), 오토인코더(자산가격 리스크 팩터), GAN(TimeGAN 합성 데이터), 강화학습(커스텀 Gym 시장 환경에서 매매 에이전트 학습)을 모두 만져 봅니다. 각각이 별도 책 한 권 분량인 주제를 "트레이딩"이라는 한 맥락으로 묶어 맛볼 수 있는 건 흔치 않은 기회입니다.

⑦ 백테스트 엔지니어링 (08장)

Zipline(이벤트 기반)과 backtrader를 직접 굴리며 "실전 같은 시뮬레이션"을 만드는 법을 배웁니다. 주문 체결·슬리피지·수수료를 어떻게 모델링하고, 어떤 편향을 피해야 하는지는 퀀트 실무의 핵심 역량입니다.

7하드웨어/시스템 요구사항

전부를 한 번에 갖출 필요는 없습니다. 장(章)에 따라 요구사항이 크게 다릅니다.

8직접 해볼 수 있는 실습 과제

9관련 기술 심화 학습 로드맵

책이 23개 장으로 방대해, 한 번에 다 보려 하면 지칩니다. 부(部) 단위로 끊어 8주에 나눠 보는 걸 권합니다.

10핵심 키워드 사전

11참고 링크

• 저장소: github.com/stefan-jansen/machine-learning-for-trading · 책 웹사이트: ml4trading.io · 커뮤니티: exchange.ml4trading.io
• 핵심 백테스트 도구(저자 유지보수): zipline-reloaded · alphalens-reloaded · pyfolio-reloaded · Zipline 문서
• ML/DL 라이브러리: LightGBM · XGBoost · SHAP · TensorFlow · PyTorch
• 피처·NLP: TA-Lib · spaCy · gensim
• 배경 지식: WorldQuant 101 Formulaic Alphas (논문) · OpenAI Gym · Nasdaq Data Link (구 Quandl)