TimesFM 딥다이브
— 학습 없이 미래를 그리는 '시계열 예측의 GPT'

1프로젝트 한줄 요약

한 문장으로 이 프로젝트가 뭘 하는지부터.

TimesFM = "한 번 배워 두면 어떤 시계열이든 추가 학습 없이 미래를 그려 주는 예측 전문 모델." 보통 시계열 예측은 데이터셋마다 모델을 처음부터 새로 학습시켜야 한다. TimesFM은 그 발상을 뒤집어, 언어모델(GPT)처럼 거대한 시계열 말뭉치로 미리 사전학습해 두고, 실제로는 model.forecast(...) 한 번 호출로 끝낸다. 매출, 웹 트래픽, 전력 수요, 기온, 환자 바이탈, 주가 — 도메인을 가리지 않고 같은 모델 하나가 처리한다.

한 가지 짚을 것 — TimesFM은 구글 내부 제품에도 들어가 있다(BigQuery ML의 SQL 예측, Connected Google Sheets의 시트 예측, Vertex Model Garden의 도커 엔드포인트). 다만 이 오픈소스 저장소 자체는 "구글의 공식 지원 제품은 아니다"라고 README가 못 박는다. 즉 연구·학습·실험용으로 자유롭게 쓰되, 프로덕션 SLA를 기대하는 물건은 아니다.

2왜 주목받는가

TrendShift 일간 3위 — 별 2만 개를 끌어모은 이유.

2023~2026년은 "예측마저 파운데이션 모델이 한다"는 흐름이 자리 잡은 시기다. 글(GPT)·이미지(확산모델)에 이어, 시계열도 "데이터셋마다 새로 학습"에서 "한 모델로 제로샷 예측"으로 무게중심이 옮겨갔다. TimesFM은 그 흐름의 대표 주자다. 이유를 다섯으로 정리한다.

① 학습 0초 — 그냥 불러서 부르면 끝

가장 큰 매력. 예측을 하려고 GPU를 몇 시간씩 돌려 모델을 학습시킬 필요가 없다. 체크포인트(약 800MB~2GB)를 한 번 내려받고 from_pretrained(...) → compile(...) → forecast(...) 세 줄이면, 수천 개 시계열을 한 번에 배치로 예측한다.

② 벤치마크에서 실제로 1등

마케팅 구호가 아니라 수치가 받쳐 준다. 저장소 문서에 따르면 TimesFM 2.0은 세일즈포스의 종합 시계열 벤치마크 GIFT-Eval에서 집계 MASE·CRPS 기준 최상위를 기록했고, 2.0(500M)은 1.0 대비 "최대 25% 더 정확"하다고 밝힌다. '제로샷인데 학습형 모델보다 잘한다'는 점이 핵심이다.

③ 구글 리서치 + ICML 2024 논문 = 신뢰의 무게

「A decoder-only foundation model for time-series forecasting」(arXiv 2310.10688)이 ICML 2024에 실린, 출처가 분명한 연구다. 구글 클라우드(BigQuery)·시트에 실제 탑재됐다는 사실이 "장난감이 아니라 검증된 설계"라는 신호가 된다.

④ 가벼워졌다 — 2.5는 200M으로 다이어트

최신 2.5 버전은 파라미터를 500M → 200M으로 줄이면서도 문맥 길이는 2,048 → 16,384로 8배 늘렸다. 더 작은 모델이 더 긴 과거를 본다. 덕분에 CPU만 있는 노트북에서도 돌릴 수 있을 만큼 문턱이 낮아졌다(7번 섹션 참고).

⑤ 점예측을 넘어 '구간'과 '공변량'까지

"내일 매출은 100"이라는 한 점만 주는 게 아니라, "80~130 사이일 확률이 높다"는 분위수(불확실성 구간)까지 내놓는다. 2.5는 연속 분위수 헤드로 이 구간을 더 정확히 보정했고, 가격·휴일 같은 외부 변수(공변량)도 끼워 넣을 수 있다.

3기술 스택 전체 지도

pyproject.toml · 소스 트리에서 직접 확인한 실제 구성.

TimesFM은 의외로 설치가 가볍다. 핵심 의존성은 numpy·huggingface_hub·safetensors 셋뿐이고, 무거운 딥러닝 백엔드(PyTorch 또는 JAX)는 '엑스트라(extras)'로 골라서 깐다. 같은 모델을 PyTorch / JAX(Flax) / HuggingFace Transformers 세 가지 런타임으로 쓸 수 있는 게 특징이다.

ⓐ 코어 — 모델 본체 & 가중치 로딩

ⓑ 백엔드 — 골라 까는 엑스트라

ⓒ 모델 버전 한눈에

4아키텍처 심화 분석

과거값 한 줄이 미래 예측이 되어 나오기까지 — 데이터의 여정.

TimesFM의 핵심 아이디어는 한 문장이다 — "시계열을 토막(패치)으로 잘라 단어처럼 다루는 디코더 전용 트랜스포머." GPT가 글을 토큰(단어 조각)으로 잘라 다음 토큰을 예측하듯, TimesFM은 시계열을 32개 시점씩 묶은 '패치'로 잘라 다음 패치를 예측한다. 먼저 숲(전체 그림)을 보고, 그다음 흐름 한 줄기를 끝까지 따라가 보자.

먼저 전체 그림 한 장

흐름 한 줄기 따라가기 — model.forecast(horizon=12, inputs=[...])

실제 코드 호출 하나가 내부에서 어떤 순서로 도는지, 핵심 5%(해피패스)만 따라간다.

① 입력 정리 (NaN·길이). 들어온 시계열에서 앞쪽 결측(NaN)은 잘라내고, 중간 결측은 선형 보간한다. 문맥 한도(2.5는 16,384)보다 길면 뒤쪽(최신) 부분만 남기고, 짧으면 앞을 0으로 채운 뒤 마스크로 가린다. → "최근 데이터가 가장 중요"라는 가정이 코드에 박혀 있다.

② 패칭 + RevIN 정규화. 길이 context를 context/32개의 32짜리 패치로 reshape한다. 패치마다 평균·표준편차를 구해 정규화(RevIN)해서 모델에 넣고, 출력은 다시 역정규화한다. → 매출이 100단위든 100만 단위든 모델이 같은 눈높이로 보게 만드는 장치.

# timesfm_2p5_torch.py 의 decode() 핵심 (개념 요약)
patched_inputs = reshape(inputs, (batch, -1, 32))   # 32개씩 토막
x = revin(patched_inputs, reverse=False)            # 정규화하고 들어감
h = stacked_transformers(tokenizer(x))              # 임베딩→트랜스포머
out_patch = point_head(h)                           # 한 번에 128시점 예측
y = revin(out_patch, reverse=True)                  # 역정규화로 원래 스케일 복원

③ 트랜스포머 통과. 임베딩된 패치들이 20층 디코더를 지난다. causal mask(인과 마스크) 덕에 각 패치는 자기보다 과거 패치만 본다 — 미래를 훔쳐보지 않는다. RoPE(회전 위치 인코딩)로 "몇 번째 패치인지" 위치 감각을 넣는다.

④ 두 헤드로 출력. 점예측 헤드는 다음 128개 시점(=출력 패치 길이)을 한 번에 내놓고, 분위수 헤드는 같은 구간의 10개 분위를 내놓는다. 결과는 항상 (점예측, 분위수예측) 튜플.

⑤ 긴 horizon은 자기회귀로 이어붙임. 한 번에 128시점까지만 나오므로, 더 긴 예측이 필요하면 방금 뽑은 중앙값(median) 예측을 다시 입력 뒤에 붙여 모델을 또 돌린다. (horizon-1)//128번 반복해 원하는 길이까지 늘린다 — GPT가 단어를 하나씩 이어 쓰며 문장을 완성하는 것과 똑같은 원리.

핵심 설계 패턴 ① — 패칭(Patching): 점이 아니라 토막을 본다

가장 중요한 결정. 시점 하나하나를 토큰으로 쓰면 시퀀스가 너무 길어지고 비효율적이다. TimesFM은 32개 시점을 한 패치로 묶어 입력 토큰을 만든다(입력 패치 32, 출력 패치 128). 토큰 수가 1/32로 줄어 긴 문맥(16k)을 감당할 수 있고, 한 번에 128시점을 예측해 빠르다.

핵심 설계 패턴 ② — RevIN: 스케일을 모델에서 떼어낸다

서로 다른 시계열은 단위가 제각각(원, 명, ℃…)이다. RevIN(Reversible Instance Normalization, 되돌릴 수 있는 인스턴스 정규화)은 입력을 평균 0·표준편차 1로 맞춰 넣고, 출력에서 그 변환을 정확히 되돌린다. 모델은 '모양(패턴)'에만 집중하고, '크기(스케일)'는 정규화가 책임진다.

핵심 설계 패턴 ③ — 분위수 헤드 & 새 예측 플래그

2.5는 점예측뿐 아니라 분위수(10·20·…·90%)로 불확실성 구간을 준다. 게다가 켜고 끌 수 있는 '예측 플래그'들이 품질을 보정한다.

model.compile(timesfm.ForecastConfig(
    max_context=1024, max_horizon=256,
    normalize_inputs=True,            # 입력 z-정규화
    use_continuous_quantile_head=True,# 연속 분위수(구간 보정)
    force_flip_invariance=True,       # 뒤집어도 같은 결과 보장
    infer_is_positive=True,           # 음수 못 나오게(수요·가격)
    fix_quantile_crossing=True,       # q10≤…≤q90 순서 강제
))

force_flip_invariance가 재미있다. "입력에 a를 곱하고 b를 더하면 예측도 똑같이 a배+b" 라는 성질을, a가 음수일 때까지 보장하려고 입력 X와 -X를 둘 다 예측해 평균낸다. 대칭성을 코드로 강제한 영리한 트릭이다.

5디렉토리 구조 해부

저장소를 열었을 때 어디부터 봐야 하는가 — 2단 구조(최신 vs 보관).

처음 저장소를 열면 헷갈릴 수 있는 핵심 하나 — 최신 2.5 코드는 src/timesfm/에, 옛 1.0/2.0 코드는 v1/에 따로 보관돼 있다. 공부할 땐 src/timesfm/를 먼저 보면 된다.

6학습 포인트 (기술별)

이 레포에서 실제로 무엇을 배울 수 있는가 — 기술별 + 실습 아이디어.

7시스템 요구사항

내 컴퓨터로 돌릴 수 있나? — 2.5는 의외로 가볍다.

좋은 소식 — 2.5(200M)는 GPU가 없어도 돈다. CPU에선 느릴 뿐(5~20배), 못 돌리는 건 아니다. 저장소의 system_requirements.md 기준 대략의 그림은 이렇다.

대략의 메모리 공식은 RAM ≈ 가중치 + 0.5GB + (0.2MB × 시계열수 × 문맥/1000). 즉 시계열 개수와 문맥 길이를 늘릴수록 메모리가 는다. 환경별 가이드:

OS는 리눅스(CUDA 최적)·macOS 13+(MPS)·Windows 11+WSL2를 지원한다. 실행 전 python scripts/check_system.py로 사전점검하면, RAM 4GB 미만은 경고·2GB 미만은 차단해 준다. 모든 예제는 속도 팁으로 torch.set_float32_matmul_precision("high")를 켠다.

8직접 해볼 수 있는 실습 과제

난이도별로 — 손으로 돌려봐야 진짜 내 것이 된다.

먼저 '복사만 하면 OK'인 기본 호출부터. 아래 다섯 줄이 TimesFM 예측의 전부다.

import torch, numpy as np, timesfm
torch.set_float32_matmul_precision("high")

# ① 체크포인트 로드(첫 실행 때 자동 다운로드)
model = timesfm.TimesFM_2p5_200M_torch.from_pretrained("google/timesfm-2.5-200m-pytorch")
# ② 예측 설정으로 컴파일(이걸 빼면 RuntimeError)
model.compile(timesfm.ForecastConfig(max_context=1024, max_horizon=256, normalize_inputs=True))
# ③ 과거값을 넣고 horizon(미래 길이)만큼 예측
point, quantile = model.forecast(horizon=12, inputs=[np.sin(np.linspace(0,20,100))])
print(point.shape)      # (1, 12)  : 점예측
print(quantile.shape)   # (1, 12, 10): 평균 + 10~90% 분위

9관련 기술 심화 학습 로드맵

TimesFM을 발판으로 시계열+트랜스포머를 제대로 — 6주 계획.

10핵심 키워드 사전

문서·코드에 자주 나오는 용어 — 한 줄 정의.

11참고 링크

원문으로 더 깊이 — 공식 소스 위주.

• GitHub 저장소: github.com/google-research/timesfm
• 논문(ICML 2024): A decoder-only foundation model for time-series forecasting
• 구글 리서치 블로그: research.google/blog
• 체크포인트 모음(HuggingFace): TimesFM Hugging Face Collection
• Agent Skill / 스크립트: 저장소 내 timesfm-forecasting/ (SKILL.md · forecast_csv.py · check_system.py)
• BigQuery ML 연동: cloud.google.com/bigquery/docs/timesfm-model
• TrendShift 페이지: trendshift.io/repositories/10050