한 사람(@rohitg00)이 쓴 — Linear Algebra부터 Autonomous Agent Swarm까지. 4개 언어(Python·TypeScript·Rust·Julia), 20 phases, 503 hands-on 레슨. 모든 레슨은 prompts·skills·agents·MCP servers를 산출물로 남긴다. "Learn it. Build it. Ship it for others." MIT 라이선스. "한 권의 책이 아니라 — 한 학기 분량의 부트캠프".
2026년에 AI 학습 자료가 넘쳐나는데 — 왜 또 만들었나.
2025~2026년 인터넷엔 AI 교재가 폭증했다. llm-course, generative-ai-for-beginners, ai-agents-for-beginners... 좋은 자료가 많다. 하지만 — 거의 다 한 가지 슬라이스를 다룬다. NLP만, 또는 Vision만, 또는 Agents만. "AI 엔지니어로 일하려면 어디까지 알아야 하나?"의 답은 — 한 사이트에 있지 않다.
AI Engineering from Scratch는 그 답을 한 레포에 우겨넣었다. "학부 4년 + 부트캠프 6개월 + 현업 2년"을 — 503개 레슨으로 압축. 선형대수부터 — Mixture of Experts·Flash Attention·Constitutional AI·MCP·Multi-Agent Swarm까지. 한 사람이 — 단일 일관된 톤으로.
그리고 핵심 차별점: "매 레슨은 산출물을 남긴다". 단순히 "배웠다"가 아니라 — outputs/ 폴더에 prompts·skills·agents·MCP server가 쌓인다. 끝나면 — 자기만의 AI 도구 100개+가 생긴다. 그걸 다른 사람에게 ship할 수 있다. "Learn → Build → Ship" 3단계가 슬로건이 아니라 — 디렉토리 구조.
전체 글의 핵심 메시지.
이게 강의 영상이었다면 — 1년 분량. 이게 책이었다면 — 3000페이지. 이게 레포이기 때문에 — 코드 실행·노트북 실험·자기 산출물 빌드가 다 가능한 활성 자료.
차별점은 두 가지. ① "슬라이스가 아니라 풀스택" — Math·Vision·NLP·Audio·Agents·Production·Ethics가 다 들어있다. ② "학습이 아니라 산출" — outputs/prompts/, outputs/skills/, outputs/agents/, outputs/mcp-servers/에 자기 도구가 쌓인다.
신생 레포지만 — 콘텐츠 밀도와 트렌드 정렬이 폭발적이다.
① 콘텐츠 폭의 절대적 압도. 다른 모든 "AI from scratch" 레포는 — 보통 한 가지(예: LLM only, agents only)에 집중. 이 레포는 20개 영역을 모두 다룬다. 풀스택 부트캠프 한 학기 분량을 — 한 사람이 한 톤으로 쓴 거의 유일한 케이스.
② "Outputs as Artifacts" 컨셉. "수료증이 아니라 — 작동하는 도구 100개"를 약속한다. 2026년에 — 누가 "코스 들었다"고 자랑하나? "내가 만든 MCP 서버 50개·AI 에이전트 20개"라고 보여주는 게 더 강력. 이 슬로건이 학생들에게 정확히 꽂힌다.
③ 다언어 — Python·TypeScript·Rust·Julia. 다른 코스는 Python 한정. 이건 — 토크나이저·추론 최적화는 Rust로, 에이전트는 TypeScript로, 수치 계산은 Julia로. 실제 2026 AI 인프라가 다언어인 만큼 — 현실 반영도가 가장 높다.
④ 2026 핵심 트렌드 흡수. Phase 13 "Tools & Protocols"에 MCP가 별도 챕터로. Phase 15 "Autonomous Systems"에 "AutoResearch", "Continuous Agents", "Cost-Aware Autonomous". Phase 16 "Multi-Agent & Swarms" — 어디서도 이렇게 깊이 다루지 않는 영역. "카르파시 자서머트 + Anthropic Skills + MCP"를 다 흡수한 가장 시의적절한 커리큘럼.
어디서 시작해서 어디로 끝나는가.
P0 Setup(12) · P1 Math Foundations(22) · P2 ML Fundamentals(18) · P3 Deep Learning Core(13). 선형대수·미적분·확률부터 — Linear/Logistic Regression, SVM, Random Forest, Ensemble을 NumPy로 직접 구현. "전공자 1~2학년 분량".
P4 Computer Vision(28: CNN·YOLO·U-Net·ViT·Stable Diffusion) · P5 NLP(29: Word2Vec·Attention·NER·QA·Translation) · P6 Speech & Audio(17: Whisper·TTS·Voice Cloning). 각 모달리티의 — 이론부터 production 파이프라인까지.
P7 Transformers Deep Dive(16: Self-Attention from scratch → MoE → Flash Attention) · P8 Generative AI(15: VAE·GAN·DDPM·Stable Diffusion·ControlNet·LoRA) · P9 Reinforcement Learning(12: PPO·RLHF) · P10 LLMs from Scratch(24: 토크나이저부터 — 자체 GPT 사전학습·SFT·RLHF·DPO·Constitutional AI·Quantization). "이 4 페이즈만 끝내도 LLM 인프라 엔지니어 일자리 가능".
P11 LLM Engineering(17: Prompt·RAG·LoRA·Function Calling·Guardrails·Production app) · P12 Multimodal AI(25: CLIP·VLM·Multimodal RAG·Any-to-Any) · P13 Tools & Protocols(23: MCP server/client/resources, 브라우저 자동화). "AI 엔지니어 일자리 면접 직전 영역".
P14 Agent Engineering(42: Agent Loop·Tool Dispatch·Subagents·Skills·Hooks·Eval-Driven) · P15 Autonomous Systems(22: AutoResearch·Self-Healing·Continuous Agents·Cost-Aware) · P16 Multi-Agent & Swarms(25: Communication Protocols·Consensus·Swarm Intelligence·DAG Orchestration). 2026의 신흥 영역 — 다른 어디서도 이 깊이로 안 다룬다.
P17 Infrastructure & Production(28: Serving·K8s·Edge·CI/CD·Red Teaming·Cost Optimization) · P18 Ethics, Safety & Alignment(30: Bias·Alignment·Red Teaming·Privacy·SHAP). "ML 엔지니어가 시니어가 되려면 필수" 영역.
① Mini GPT + Chat UI · ② Multimodal RAG · ③ Autonomous Research Agent · ④ Multi-Agent Dev Team · ⑤ Production AI Platform. 5번째는 — "모든 페이즈를 종합"하는 본격 시스템. 포트폴리오 1순위.
왜 이 레포의 레슨이 다른 코스보다 깊은가.
phases/XX-phase-name/NN-lesson-name/ ├── code/ Python/TS/Rust/Julia 실행 가능 구현 ├── docs/ │ └── en.md 레슨 문서 (motto → problem → concept → build → use → ship) ├── outputs/ 이 레슨이 산출한 — prompts·skills·agents·MCP servers └── quiz.json (일부 레슨) 퀴즈 파일
매 레슨이 — 정확히 6단계 구조로 짜여 있다:
outputs/에.대부분의 코스가 — 처음부터 PyTorch로 시작한다. 그러면 학생은 "수도꼭지를 트는 법"만 배우고 — 안에서 물이 어떻게 흐르는지 모른다. 이 레포는 항상 — Step 4에서 백지 구현, Step 5에서 프레임워크. 그래서 — 같은 코드가 PyTorch에서 어떻게 자동화되는지를 한 레슨에서 본다.
매 레슨은 — outputs/ 폴더에 뭔가를 남겨야 끝. 단순한 ipynb가 아니라 — 다른 사람이 가져다 쓸 수 있는 도구. 학생은 강제로 "이 지식을 어떻게 패키징하지?"를 매번 생각하게 된다. 끝나면 — 자기 GitHub 프로필에 실전 도구 100+가 쌓인다.
한 레포에 — 코드·노트북·문서·산출물이 어떻게 공존하나.
ai-engineering-from-scratch/ ├── assets/ ← 배너·다이어그램 ├── glossary/ │ └── terms.md ← 200+ AI 용어 사전 (한 곳 검색) ├── outputs/ ← 모든 레슨의 종합 산출물 │ ├── prompts/ - Prompt template 모음 │ ├── skills/ - SKILL.md 모음 (Claude/Cursor용) │ ├── agents/ - Agent 정의 (deploy 가능) │ └── mcp-servers/ - 빌드된 MCP server들 ├── phases/ ← 20 페이즈 × 503 레슨 │ ├── 00-setup-and-tooling/ │ │ ├── 01-dev-environment/ │ │ │ ├── code/ │ │ │ ├── notebook/ │ │ │ ├── docs/en.md │ │ │ └── outputs/ │ │ ├── 02-git-and-collaboration/ │ │ └── ... (12 레슨) │ ├── 01-math-foundations/ (22 레슨) │ ├── 02-ml-fundamentals/ (18) │ ├── ... │ └── 19-capstone/ (5 프로젝트) ├── projects/ ← Capstone 별도 프로젝트들 (빈 placeholder) ├── site/ ← 학습 트래커 웹앱 (aiengineeringfromscratch.com 빌드 소스) ├── ROADMAP.md ← 진행률 추적 ├── LESSON_TEMPLATE.md ← 새 레슨 추가용 템플릿 ├── FORKING.md ← 학교/팀 fork 가이드 ├── requirements.txt ← Python 의존성 └── README.md
특히 주목할 두 가지:
① glossary/terms.md — 200+ AI 용어가 한 곳. 강의 듣다 "이 단어 뭐였지?" 할 때 GitHub 검색보다 빠르다.
② LESSON_TEMPLATE.md — 새 레슨을 PR로 추가할 때 형식을 강제. 503개 레슨이 같은 톤·구조를 유지하는 비결.
단순 학습용을 넘어 — 메타-스킬과 도구가 다 들어있다.
Math → ML → DL → Modality → Transformer → LLM → Agent → Swarm → Production. 20개 페이즈의 순서 자체가 — "AI 엔지니어가 알아야 할 것의 의존 그래프". 처음부터 끝까지 안 해도 — 목차만 외워도 자기 학습 계획이 명확해진다.
Python만으론 production AI가 안 된다. 토크나이저는 Rust, 에이전트는 TS, 수치 코어는 Julia — 이 레포가 정확히 그 분포. "하나만 알면 시니어 못 된다"는 현실을 — 실제 코드로 깨달을 수 있다.
Phase 13~16이 — 모두 "AI 에이전트 인프라 작성법". MCP server를 처음부터 만들어 보고, SKILL.md 형식을 익히고, multi-agent 통신 프로토콜을 직접 짠다. 이게 2026 AI 엔지니어의 차별점이 된다.
P10 LLMs from Scratch가 — 세 기법을 모두 직접 구현. PPO 알고리즘, 보상 모델, 선호 데이터셋. 다른 어디서도 이 깊이로 다루지 않는다. "왜 Claude는 그렇게 답하나"의 답이 이 페이즈에 있다.
매 레슨이 — outputs/에 도구를 남긴다. 1년 끝나면 — 100+ prompts, 50+ skills, 20+ agents, 10+ MCP servers가 자기 깃헙에. 이게 채용 면접에서의 결정타. "이론은 알지만 만든 게 없는" 일반 학생들과 차별화.
처음부터 끝까지 어떤 하드웨어가 필요한가.
Math·기초 ML·소형 NN은 — CPU에서 충분. CV·NLP 일부는 Colab Free의 T4 GPU로 가능. 월 비용 0원. 학생·취준생에게 진입장벽 없음.
Transformer 사전학습·Stable Diffusion fine-tune·LLM SFT/DPO는 — 24GB VRAM 이상 권장. RTX 3090 중고(2026 기준 50~80만원) 또는 — Runpod/Lambda Cloud의 A100 시간당 1~2달러. 1개월 학습에 ~50~100달러.
RAG·Agent 영역은 — 7B 정도 모델만 로컬 + Claude/Gemini API. OpenAI 비용은 — 자기 키 또는 [[freellmapi]] 같은 무료 티어 라우터로. 월 ~10~30달러.
K8s는 — minikube/kind로 로컬에서 가능. Edge 배포는 Raspberry Pi. Production 시뮬은 — Vercel·Fly.io 무료 티어. "학습을 위한 클라우드는 — 학습 비용이 아니라 학습 자료다".
난이도별 4개 — 503 레슨을 다 안 해도 의미 있다.
환경 설정 → 선형대수·미적분·확률을 NumPy/Julia로 손으로 구현. PCA·SVD·Fourier·Graph theory까지. 끝나면 — "AI 이론에 더 이상 겁먹지 않는다". ML/DL 페이퍼를 — 처음 한 단락에서 멈추지 않게 된다.
Self-Attention from scratch → MoE → Flash Attention → 마지막엔 Build a Transformer from Scratch. 끝나면 — "GPT가 왜 그렇게 답하는지"의 답이 코드 레벨에서 보인다. LLM 인프라 면접 90% 합격선.
Agent Loop·Tool Dispatch·Subagents부터 — AutoResearch·Self-Healing·Continuous Agents까지. 26 레슨 완주 + 마지막에 자기 자율 에이전트. 결과: 자기 GitHub에 working autonomous agent — 시리즈 A 스타트업 이력서에 통하는 포트폴리오.
20 페이즈를 다 — 정직하게. 매주 10~15시간. 끝나면 — "Mini GPT 학습한 적 있는 사람", "Multi-Agent Dev Team 만든 적 있는 사람"이 된다. 이게 2026 AI 엔지니어 시장에서의 — "학위보다 강한 신호".
이 레포가 끝난 다음 — 어디로 가나.
Phase 7~10이 끝나면 — 최신 페이퍼를 직접 읽을 base가 생긴다. Karpathy 채널 + 매주 한 페이퍼 review. ArXiv Sanity·Papers with Code로 트래킹.
Phase 11·17이 끝나면 — production 인프라가 손에 닿는다. vLLM 코드 정독, Triton kernel 커스터마이즈, Modal·Replicate 같은 서버리스 LLM 서빙 플랫폼 실습.
Phase 14~16의 산출물(에이전트·MCP server)을 — 실제 제품으로. 한 도메인(법무·교육·헬스케어) 선택, MVP를 — outputs/ 폴더의 자기 도구들로 조립. "학습이 즉시 비즈니스가 되는" 유일한 시대.
Phase 13·14의 MCP server·SKILL.md 산출물을 — 정제해서 공개. Anthropic Skill Marketplace·Cursor Plugin 마켓에 ship. "내 도구를 다른 AI 엔지니어가 쓴다"가 가장 빠른 평판 빌딩.
레포·문서·코드 안에서 자주 보는 용어.
Q·K·V 행렬과 softmax. Phase 7-02가 정확히 이걸 from scratch로. 이걸 이해하면 — GPT·BERT·ViT의 90%가 풀린다.레포·산출물·관련 자료.
레포 본체: github.com/rohitg00/ai-engineering-from-scratch
로드맵: ROADMAP.md · 용어 사전: glossary/terms.md
저자 도구: SkillKit — 산출물(SKILL.md)을 Claude Code·Cursor에 설치.
유사 레포: karpathy/llm.c(C로 LLM), microsoft/generative-ai-for-beginners(21 레슨), microsoft/ai-agents-for-beginners(10 레슨).