deepseek-ai/DeepSpec 딥다이브
— 큰 모델을 2~3배 빠르게: "추측 디코딩" 드래프트 모델 풀스택

1프로젝트 한줄 요약

이 레포가 무엇을 하는 물건인가.

이 레포는 단순히 "드래프트 모델 하나"를 주는 게 아니라, 드래프트 모델을 밑바닥부터 만들어 쓰는 전 과정을 담은 풀스택이다: ① 학습 데이터 준비(프롬프트 다운로드 → 타깃 모델로 정답 재생성 → 은닉상태 캐시), ② 드래프트 모델 학습(지식 증류), ③ 9개 벤치마크로 "토큰을 평균 몇 개나 한 번에 통과시키는지(가속비)" 평가. 같은 틀 안에서 DSpark·DFlash·Eagle3 세 알고리즘을 갈아끼우며 비교한다.

2왜 주목받는가

트렌딩 이유, 경쟁 구현 대비 장점.

첫째, "DeepSeek"이라는 이름이다. 프론티어급 오픈 모델을 내놓는 연구소가 추론 가속 코드를 공개하면 자연히 시선이 쏠린다. 둘째, 추론 비용이 곧 돈인 시대에 품질 손실 없이 2~3배 가속은 모두가 원하는 것이다. 셋째, 이 레포는 드래프트 모델 분야의 최신 알고리즘 세 가지를 하나의 공정한 비교 틀에 모아놓았다는 점에서 연구자에게 특히 매력적이다.

특히 DSpark는 DeepSeek이 이 레포와 함께 공개한 자체 알고리즘(논문 PDF 동봉)으로, 기존 Eagle 계열이 토큰을 한 개씩 사슬처럼(autoregressive) 뽑던 방식을 깨고 블록을 한 번에 병렬로 제안한다. 거기에 "Markov head"와 "Confidence head"라는 두 개의 작은 보조 장치로 병렬화의 약점을 메운다(아래 4번에서 자세히).

세 알고리즘 한눈에

3기술 스택 전체 지도

백엔드(학습/추론)·도구·데이터 파이프라인.

순수 Python + PyTorch 생태계다. 프론트엔드(웹 UI)는 없다 — 전부 학습/평가 스크립트와 모델 코드다. 핵심은 PyTorch의 분산학습(FSDP)·컴파일(torch.compile)·FlexAttention을 적극 활용한다는 점이다.

4아키텍처 심화 분석

먼저 전체 그림 → 그다음 흐름 한 줄기를 끝까지 추적.

① 전체 그림 — 3단계 파이프라인

DeepSpec은 "데이터 준비 → 학습 → 평가" 세 단계가 일렬로 이어진다. 각 단계의 출력이 다음 단계의 입력이 된다.

② 흐름 한 줄기 추적 — "토큰을 한 묶음 생성하는 한 스텝"

평가/추론에서 실제로 토큰이 어떻게 빨리 나오는지, 대표 흐름 하나를 손으로 따라가 보자. 핵심은 제안 → 검증 → 거절샘플링 → 커밋 네 박자다.

여기서 마법은 ②~④다. 타깃을 토큰마다 부르지 않고 블록 전체를 한 번에 검증한다(트랜스포머는 여러 토큰을 한 번에 처리하는 게 한 개씩 처리하는 것과 비용이 비슷하다 — 그게 GPU가 잘하는 일이다). 그리고 ④의 잔차 샘플링이 "손실 없음"을 보장한다.

# deepspec/utils/sampling.py — 손실 없는 가속의 핵심 한 토막
# 채택 판정 (verify_draft_tokens 내부)
accept_prob = clamp(p_target(x) / p_draft(x), max=1.0)   # x = 드래프트가 제안한 토큰
accepted    = (rand() < accept_prob)                      # 동전 던지기

# 거절된 자리: 잔차분포에서 타깃이 직접 뽑음 → 분포 보존
residual = clamp(p_target - p_draft, min=0.0)
residual = residual / residual.sum()                      # 정규화
next_token = sample(residual)

③ DSpark는 무엇이 다른가 — "블록 병렬"의 약점 메우기

Eagle3는 토큰을 한 개씩 사슬로 뽑는다(정확하지만 드래프트도 그만큼 여러 번 돈다). DSpark는 한 블록을 동시에 뽑아 드래프트 호출 수를 줄인다. 문제는, 동시에 뽑으면 "앞 토큰이 뭐가 나왔는지"를 못 보고 뽑으니 서로 어긋나기 쉽다는 점. DSpark는 작은 보조 장치 두 개로 이걸 보완한다.

5디렉토리 구조 해부

어디에 무엇이 있나 (약 9천 줄 Python).

6학습 포인트 (기술별)

이 레포로 무엇을 배울 수 있나 + 실습 아이디어.

# modeling/dspark/loss.py (개념 요약)
loss = α_ce · CE(draft_logits, target_id)            # 어떤 토큰인지 (분류)
     + α_l1 · L1(softmax(draft), softmax(target))     # 분포가 닮았는지
     + α_cf · BCE(confidence, accept_rate)            # 채택률 자기예측
# 블록 뒤쪽 자리일수록 가중치 ↓  (decay = exp(-k / γ))

7시스템 요구사항 · 실행

순수 소프트웨어지만 "연구급" 자원을 전제한다.

3단계 실행은 스크립트 한 줄씩이다(순서 중요):

# 1) 데이터 준비 (프롬프트→타깃답변 재생성→캐시)  ※ 디스크 38TB 주의
bash scripts/data/prepare_data.sh

# 2) 드래프트 모델 학습 (config로 알고리즘·타깃 선택)
bash scripts/train/train.sh
#   내부: python train.py --config config/dspark/dspark_qwen3_4b.py \
#                         --opts "data.target_cache_path=..."

# 3) 평가 (9개 벤치마크에서 가속비 τ 측정)
bash scripts/eval/eval.sh

8직접 해볼 수 있는 실습 과제

난이도순으로. 작은 것부터 손에 익히자.

9관련 기술 심화 학습 로드맵

추측 디코딩을 제대로 파고드는 4주 코스.

10핵심 키워드 사전

레포에 등장하는 용어 빠른 참조.

11참고 링크

원문·논문·연관 프로젝트.