TabFM 딥다이브
— "학습 없이" 표를 예측하는 구글의 표 데이터 파운데이션 모델

1프로젝트 한줄 요약

이 저장소가 대체 무엇인가.

README의 자기소개는 이렇다: "TabFM is a scikit-learn compatible tabular foundation model. It allows you to perform zero-shot classification and regression on tabular datasets with mixed column types out-of-the-box." 풀어 쓰면 — (1) scikit-learn 호환이라 익숙한 fit/predict/predict_proba를 그대로 쓰고, (2) 숫자·범주가 섞인 혼합형 열을 별도 원-핫 인코딩 없이 바로 먹으며, (3) 제로샷(zero-shot) — 즉 사용자 데이터로 재학습하지 않고 예측한다는 뜻이다.

README는 그 원리를 한 문장으로 요약한다: "At inference time, TabFM does not require training parameters on your dataset; instead, it leverages in-context learning by reading your training data as 'context' to make instant predictions on new test samples." 이 문장이 이 프로젝트의 전부다. 추론 시점에 학습 파라미터가 필요 없고, 훈련 데이터를 문맥으로 읽어 즉시 예측한다.

2왜 주목받는가

빅테크가 "표 파운데이션 모델" 경쟁에 정식 진입 · 학습 0초 · sklearn 드롭인 · 이중 백엔드.

표(tabular) 데이터는 여전히 산업 현장 ML의 8할이다. 은행 신용평가, 이탈 예측, 수요 예측, 의료 위험도 — 대부분 행·열로 된 표다. 그리고 이 영역의 오랜 왕은 딥러닝이 아니라 XGBoost·LightGBM 같은 그래디언트 부스팅 트리(GBDT)였다. 그런데 2022년 TabPFN이라는 논문이 "트랜스포머로 표를 인컨텍스트 러닝하면 학습 없이도 작은 표에서 GBDT를 능가한다"는 걸 보이며 판을 흔들었다. TabFM은 바로 그 흐름에 구글 리서치가 정식으로 뛰어든 결과물이다.

기존 접근과 무엇이 다른가

주목도를 끌어올린 구체적 요인은 다음과 같다.

① 출신과 타이밍. google-research 조직 계정에서, 표 파운데이션 모델을 학습 코드가 아니라 "쓸 수 있는 라이브러리 + 사전학습 가중치" 형태로 냈다. 2026-06-29 릴리스 직후 월간 트렌딩에 진입한 따끈한 프로젝트다.
② scikit-learn 드롭인. TabFMClassifier(model).fit(X, y).predict(X_test) — 파이썬 데이터 분석가에게 학습 곡선이 거의 0이다.
③ 이중 백엔드 + HF 가중치. 구글 내부 스택인 JAX/Flax 원본과, 커뮤니티가 쓰기 편한 PyTorch 이식본을 모두 제공하고, 가중치는 Hugging Face Hub(google/tabfm-1.0.0-jax, -pytorch)에 올려 자동 다운로드된다.
④ 코드가 곧 교과서. 뒤에서 보겠지만 PyTorch 이식본(model.py, 약 19KB)은 RoPE·RMSNorm·SwiGLU·Set Transformer 같은 최신 트랜스포머 부품이 한 파일에 응축된 훌륭한 학습 자료다.

3기술 스택 전체 지도

Python 하나로 통일 · JAX 원본과 PyTorch 이식본의 이중 구조 · Bazel + flit 이중 빌드.

이 저장소는 언어 구성이 단순하다 — Python 98.7%, 나머지는 Bazel 빌드 파일(Starlark) 1.3%다. 하지만 그 안에는 "같은 모델을 두 딥러닝 프레임워크로 구현"하는 흥미로운 이중 구조가 들어 있다. 아래 지도를 보자.

① 핵심(공통) 스택 — 프레임워크 무관

② JAX 백엔드 — 학습·추론 "원본(source of truth)"

③ PyTorch 백엔드 — 커뮤니티용 "추론 이식본"

PyTorch 쪽 의존성이 torch 하나뿐인 게 핵심이다. 학습 스택(optax·orbax…)이 전혀 필요 없다 — 추론만 하기 때문이다. 가중치는 JAX에서 학습된 것을 변환해서 가져온다.

④ 빌드·품질 도구

4아키텍처 심화 분석

표를 2차원 격자로 보고, "열 방향 ↔ 행 방향" 어텐션을 번갈아 → 마지막에 인컨텍스트 예측.

TabFM의 forward pass를 이해하는 열쇠는 "표는 2차원이다"라는 관찰이다. 글(LLM)은 토큰의 1차원 시퀀스지만, 표는 행(샘플) × 열(특성)의 격자다. TabFM은 이 두 축 각각에 어텐션을 걸어 번갈아 정보를 섞는다. 전체 흐름은 이렇다.

핵심 설계 패턴 6가지

패턴 1 — 두 축 어텐션 (열 ↔ 행 교대)

열 방향에는 Set Transformer를 쓴다. 이유가 중요하다: 표에서 열의 순서는 의미가 없다(나이·소득 순서를 바꿔도 같은 표). 그래서 순서에 불변인(permutation invariant) Set Transformer가 적합하다. 반대로 행 방향엔 RoPE를 쓴 일반 Encoder를 써서 샘플 간 상호작용을 학습한다.

패턴 2 — Set Transformer & 유도점(ISAB)

# pytorch/model.py — ISAB 한 눈에 보기
class InducedSelfAttentionBlock(nn.Module):
    def forward(self, src, attn_mask=None):
        ind = self.ind_vectors.expand(src.shape[0], -1, -1)  # 유도점 256개
        hidden = self.mab1(ind, src, src, attn_mask=attn_mask) # 원소→요약점 (n→m)
        return  self.mab2(src, hidden, hidden)                 # 요약점→원소 (m→n)

패턴 3 — 최신 트랜스포머 부품 총집합

어텐션 블록 하나에 요즘 LLM에서 검증된 부품이 알뜰히 박혀 있다.

패턴 4 — Fourier 특징으로 숫자를 인코딩

숫자값 하나(예: 소득 85000)를 그냥 넣으면 신경망이 크기 차이를 다루기 어렵다. TabFM은 값을 여러 주파수의 sin/cos로 펼치는 Fourier 특징(주파수 32개)으로 바꾼다. 또 feature grouping(오프셋 2^i−1로 이웃 열을 묶기)으로 열 간 상호작용의 단서를 준다. 이 sin/cos 계산은 값이 커지면 오차가 누적되므로 반드시 float32로 돌린다.

패턴 5 — 정밀도 규율 & 이중 백엔드 패리티

패턴 6 — 메모리 효율 & 패딩 인식

큰 표는 어텐션 중간 텐서가 폭발한다. 그래서 곳곳에 청킹(chunking) 옵션(ffn_chunk_size, row_chunk_size, col_chunk_size)과 전용 memory_efficient_attention.py가 있다. 또 데이터셋마다 특성 수가 다르므로, 실제 특성 수 d를 기준으로 패딩된 열을 어텐션에서 제외하는 마스킹이 세심하게 들어간다.

v1.0.0 아키텍처 설정값(하드코딩)

분류/회귀는 이 설정을 공유하되 y 인코딩·디코더·손실만 바뀐다. 분류는 y를 원-핫→선형(OneHotAndLinear)으로 인코딩하고 max_classes 로짓을 내며 손실은 cross_entropy. 회귀는 스칼라 y를 작은 MLP로 인코딩하고 값 하나를 내며 손실은 rmse다.

5디렉토리 구조 해부

"공통 sklearn 래퍼 하나 + JAX/PyTorch 두 백엔드 + HF 변환기"의 3분할.

세 덩어리로 나눠 읽으면 명료하다.

① 공통 진입점 classifier_and_regressor.py(116KB). 가장 큰 파일이자 사용자가 실제로 만나는 지점이다. TabFMClassifier·TabFMRegressor가 여기 있고, scikit-learn 규약대로 fit()이 순서형 인코더(범주→정수)·수치 스케일러를 준비하고, predict()/predict_proba()가 표를 모델이 먹는 텐서로 변환→모델 호출→후처리한다. 큰 표를 나눠 넣고 여러 예측을 합치는 앙상블·청킹 조율도 이 파일 몫이다.

② 두 백엔드 jax/·pytorch/. 구조가 데칼코마니다 — 양쪽 다 model.py(신경망)와 tabfm_v1_0_0.py(설정 + HF 로더)를 갖는다. 다만 JAX 쪽이 89KB로 훨씬 크다(학습 로직·flash attention 선택지 포함). PyTorch 쪽은 19KB로 추론 경로만 담아 담백하다.

③ 변환기 hugging_face/. JAX에서 학습된 Orbax 체크포인트를 PyTorch state_dict로 옮기고 Hub에 올리는 스크립트다. PyTorch model.py의 모듈·파라미터 이름을 JAX와 똑같이 지은 이유가 여기서 드러난다 — 이름이 같아야 변환이 "기계적"으로 된다.

6학습 포인트 (기술별)

이 저장소에서 "무엇을 배울 수 있는가" — 개념 → 코드 위치 → 실습 아이디어.

7하드웨어 / 시스템 요구사항

학습 인프라가 필요 없다 — 추론만 하므로 노트북 CPU로도 시작 가능.

8직접 해볼 수 있는 실습 과제

난이도별로 손을 움직여 보는 6가지.

입문 ★☆☆

# 설치
git clone https://github.com/google-research/tabfm.git
cd tabfm && pip install -e .[pytorch]

# 실행 (examples/)
python examples/classification_example.py

중급 ★★☆

고급 ★★★

9관련 기술 심화 학습 로드맵

표 ML 기초에서 시작해 "미니 표 ICL 모델"까지 8주.

10핵심 키워드 사전

문서에 등장한 용어를 한 곳에.

11참고 링크

원본과 배경 지식.