Mukul-svg/graddy 딥다이브
— 99줄로 읽는 backprop(역전파), 그리고 학습된 신경망을 '눈으로' 보기

Mukul-svg/graddy는 순수 파이썬으로 짠 아주 작은 autograd(자동 미분) 엔진 + 신경망 라이브러리입니다. Andrej Karpathy의 micrograd 계열 교육용 프로젝트로, 숫자 하나하나에 직접 사칙연산을 하면 계산 그래프가 쌓이고, .backward() 한 번에 미분(기울기)이 거꾸로 흘러내리는 과정을 99줄짜리 engine.py에 다 담았습니다. 여기에 micrograd엔 없는 '학습된 신경망을 matplotlib으로 그리는' 시각화가 더해진 게 차별점입니다. (저장소: Mukul-svg/graddy · 언어 Python 100% · ★ 신생(거의 0) · 라이선스 MIT · 2026-06-23 생성)

1프로젝트 한줄 요약

"PyTorch의 loss.backward()가 안에서 무슨 일을 하는지, 99줄로 직접 열어 보는 프로젝트."

핵심 사용법은 micrograd와 똑같이 단순합니다 — Value(-4.0) 같은 숫자를 만들고, 평범하게 수식을 쓰고, y.backward()를 부른 뒤 x.grad를 읽으면 됩니다. 이 문서는 그 안의 설계 — "연산자 오버로딩으로 그래프를 어떻게 짓나", "backward()의 위상정렬은 왜 필요한가", "기울기를 왜 =가 아니라 +=로 쌓나", 그리고 "학습된 신경망을 어떻게 그림으로 보여 주나"를 파고듭니다.

2왜 주목받는가

"backprop을 '소스로' 배우는 micrograd 계보. graddy의 한 끗은 '학습 결과를 눈으로 보는' 시각화다."

그럼에도 학습 가치가 큰 이유 — micrograd 계보와 비교

backprop을 코드로 배우는 길에서 micrograd는 이미 고전입니다. graddy는 그 계보 위에 두 가지를 더합니다 — 엔진에 exp()·tanh() 활성함수를 추가했고(micrograd 엔진은 relu만), 무엇보다 '학습이 끝난 신경망'을 그림으로 그리는 시각화를 넣었습니다.

다만 솔직히 짚으면, README는 '텐서 지원'·'신경망 라이브러리'라며 다소 부풀려 말하지만 현재는 철저히 스칼라입니다(가중치 곱 하나하나가 파이썬 float 연산이라 느림). 학습 도구로는 그게 오히려 장점입니다 — 모든 게 느리지만 모든 게 들여다보입니다.

3기술 스택 전체 지도

"코어는 의존성 0 — 파이썬 표준 math/random뿐. 외부 라이브러리는 데모·테스트·그림용으로만 등장한다."

graddy의 무게중심은 딱 두 파일 — engine.py(autograd 스칼라)와 nn.py(그 위에 올린 신경망)입니다. 이 둘은 외부 패키지 없이 파이썬 표준 라이브러리만 씁니다. 나머지(numpy·matplotlib·sklearn·torch)는 데모와 테스트, 그림에만 쓰입니다.

① 코어 (의존성 없음)

② 데모 · 테스트 · 시각화 (선택 의존성)

주의할 점 — 저장소에 setup.py·pyproject.toml·requirements.txt가 전혀 없습니다. 즉 pip install로 깔리는 패키지가 아니라, 클론해서 저장소 안에서 실행하거나 sys.path에 경로를 넣어 쓰는 구조입니다. 패키지 __init__.py도 비어 있어 from graddy.engine import Value처럼 모듈을 콕 집어 임포트합니다.

4아키텍처 심화 분석 (forward로 그래프를 짓고, backward로 기울기를 흘린다)

"핵심은 두 가지 — 연산할 때 그래프가 저절로 그려지고, backward는 그 그래프를 거꾸로 한 번 훑는다."

전체 그림 — Value 노드 하나의 구조

모든 숫자는 Value(data, _children, _op) 객체입니다. 각 노드는 값(data)·기울기(grad)·부모로 가는 화살표(_prev)·연산 이름(_op), 그리고 결정적으로 자기 기울기를 자식에게 밀어 넣는 함수 _backward를 들고 있습니다.

backward — 위상정렬 후 거꾸로 한 번 훑기

backward()는 깊이우선탐색으로 그래프를 위상정렬(자식이 부모보다 먼저 오도록 줄세우기)한 뒤, 출력의 기울기를 1.0으로 두고 역순으로 각 노드의 _backward()를 부릅니다. 모든 국소 규칙이 +=로 더하기 때문에, 한 값이 여러 곳에 쓰여도 기울기가 올바르게 합산됩니다.

# engine.py — backward의 전부
def backward(self):
    topo = []; visited = set()
    def build_topo(v):
        if v not in visited:
            visited.add(v)
            for child in v._prev:
                build_topo(child)
            topo.append(v)          # 후위순회 → 자식이 부모보다 앞에
    build_topo(self)
    self.grad = 1.0                 # 출력의 기울기를 1로 씨앗
    for node in reversed(topo):     # 부모 → 자식 순으로
        node._backward()            # 연쇄법칙을 += 로 흘린다

신경망은 어떻게 쌓이나 — Neuron → Layer → MLP

Neuron은 가중치들(Value)과 편향 하나를 들고 Σ wᵢ·xᵢ + b를 계산한 뒤(이 계산 자체가 그래프를 늘림) relu를 씌웁니다. Layer는 뉴런들의 묶음, MLP는 층들의 연결입니다. 영리하게도 마지막 층만 활성함수를 빼(nonlin = i != 마지막) 출력이 relu에 눌리지 않게 합니다.

# nn.py — 순전파가 곧 그래프를 늘리는 행위
def __call__(self, x):
    act = sum((wi*xi for wi,xi in zip(self.w, x)), self.b)  # Σ wᵢxᵢ + b
    return act.relu() if self.nonlin else act               # 마지막 층은 선형

훈련 한 바퀴 — 이 네 줄이 전부다

model.zero_grad()          # 지난 기울기 0으로
loss.backward()            # 역전파로 모든 grad 채움
for p in model.parameters():
    p.data -= learning_rate * p.grad   # 한 걸음 갱신(SGD)

5디렉토리 구조 해부

"전부 합쳐 ~517줄. autograd는 engine.py, 신경망은 nn.py, 나머지는 데모·그림·테스트."

6학습 포인트 (기술별)

"backprop을 '소스로' 이해하기에 거의 완벽한 재료. 연산별 미분 공식이 코드에 그대로 있다."

연산별 국소 미분 규칙 (engine.py에 구현된 그대로)

# plot_nn.py — 가중치를 색/굵기로 인코딩 (차별점)
color = '#2E7D32' if w > 0 else '#C62828'   # 양수 초록 / 음수 빨강
alpha = max(0.1, min(0.85, abs(w) / max_w)) # 투명도 = |가중치|
linewidth = 0.5 + 2.5 * (abs(w) / max_w)    # 굵기 = |가중치|

7시스템 요구사항

"코어는 파이썬만 있으면 된다. GPU도, 무거운 의존성도 없다."

8직접 해볼 수 있는 실습 과제

"손으로 grad 계산 검산 → 작은 MLP 학습 → 새 연산 추가 → 시각화 확장 순으로."

9관련 기술 심화 학습 로드맵

"미분 기초 → autograd 원리 → 신경망 → 텐서화/프레임워크 순으로 쌓으면 단단하다."

10핵심 키워드 사전

"문서에 나온 용어를 한자리에."

11참고 링크

• GitHub 저장소: github.com/Mukul-svg/graddy
• 원조 micrograd(Karpathy): github.com/karpathy/micrograd
• 강의 "The spelled-out intro to backpropagation": YouTube
• tinygrad(텐서화 다음 단계): github.com/tinygrad/tinygrad
• PyTorch autograd 문서: pytorch.org/docs/autograd