OpenHuman — 개인 AI
슈퍼인텔리전스의 해부

먼저, "에이전트 하네스"란 뭔가?

왜 LLM 단독으로는 부족하고, 왜 메모리 트리가 필요한가.

2024~2026년 사이 ChatGPT·Claude·Gemini는 점점 똑똑해졌지만, "내 일상을 진짜로 이해하고 대신 일해주는" 에이전트는 여전히 부족했다. 이메일·노션·슬랙·캘린더가 다 흩어져 있고, 모델은 매 대화마다 컨텍스트를 처음부터 다시 배워야 했기 때문이다.

해법은 LLM을 둘러싸는 "외골격(harness)"이다. 도구 호출, 외부 데이터 자동 수집, 장기 기억, 모델 라우팅, UI까지 책임지는 운영 레이어. OpenHuman은 이 외골격을 데스크톱 네이티브 앱으로 끝까지 밀어붙인 첫 사례다.

이 프로젝트의 핵심 메시지

한 문장으로 줄이면.

2026년 5월, 트렌딩 8위에 오른 이유

시대적 배경 + 경쟁 우위.

시대적 배경 — 콜드 스타트 문제의 정면 돌파

기존 에이전트(Hermes, OpenClaw 등)는 사용자를 학습하는 데 며칠~몇 주가 걸렸다. 매일 대화하며 선호도를 알아내야 했기 때문. OpenHuman은 OAuth 한 번으로 118+ 서비스를 한꺼번에 흡수해 이 콜드 스타트 시간을 분 단위로 단축한다.

또 하나 — "BYOK(Bring Your Own Key) 지옥" 탈출. 보통 에이전트는 OpenAI·Anthropic·ElevenLabs 키를 각각 발급받아야 했지만, OpenHuman은 구독 하나 + 자동 모델 라우팅(reasoning/fast/vision)으로 끝낸다. Karpathy가 X에 올린 "obsidian-style wiki + memory tree" 워크플로우를 실제 작동하는 데스크톱 앱으로 구현한 첫 사례라는 점이 화제의 핵심.

경쟁 비교 — Claude Cowork · OpenClaw · Hermes vs OpenHuman

전체 기술 지도

백엔드(Rust 61.6%) · 프론트(TS 35.5%) · 인프라 · 보안.

백엔드 — Rust 61.6% (6개 바이너리: 코어 1 + 보조 5)

프론트엔드 — TypeScript 26.6% (Tauri 2.x 모노레포)

인프라 · 보안 (Docker 셀프호스팅)

시스템 구조와 5가지 설계 패턴

전체 구조도 → 핵심 패턴 하나하나.

시스템 구조도

┌─────────────────────────────────────────────────────────────────────┐
│                        OpenHuman Desktop App                        │
│                         (Tauri 2.x Window)                          │
│                                                                     │
│  ┌──────────────┐    ┌─────────────────┐   ┌───────────────────┐    │
│  │  Mascot UI   │    │   Chat Panel    │   │  Obsidian Vault   │    │
│  │  (Remotion + │    │   (TypeScript)  │   │   Viewer (.md)    │    │
│  │   Lip-sync)  │    │                 │   │                   │    │
│  └──────┬───────┘    └────────┬────────┘   └─────────┬─────────┘    │
│         │                     │                      │              │
│         └─────────┬───────────┴──────────────────────┘              │
│                   │  Tauri IPC (RPC over JSON)                      │
└───────────────────┼─────────────────────────────────────────────────┘
                    │
        ┌───────────▼────────────────────────────────────────┐
        │       openhuman-core (Rust binary :7788)           │
        │  ┌──────────────────────────────────────────────┐  │
        │  │  Axum HTTP/WS Server (/rpc, /health)         │  │
        │  └──────────────────┬───────────────────────────┘  │
        │                     │                              │
        │  ┌──────────────────▼──────────────────┐           │
        │  │       Agent Orchestrator             │           │
        │  │  - Tool dispatcher (typed)           │           │
        │  │  - Model router (reasoning/fast/vis) │           │
        │  └─────┬───────────┬────────────┬──────┘           │
        │        │           │            │                  │
        │  ┌─────▼─────┐ ┌───▼──────┐ ┌──▼──────────┐        │
        │  │Auto-Fetch │ │TokenJuice│ │Memory Tree  │        │
        │  │(20min loop│ │Compressor│ │(SQLite +    │        │
        │  │ per conn) │ │          │ │ Obsidian MD)│        │
        │  └─────┬─────┘ └──────────┘ └──────┬──────┘        │
        │        │                            │              │
        │  ┌─────▼────────────────────┐ ┌─────▼─────────┐    │
        │  │ Integrations (118+)      │ │ Native Tools  │    │
        │  │ Gmail/Slack/Notion/GH/.. │ │ FS/Git/Lint   │    │
        │  └──────────────────────────┘ │ Web Fetch/Sea │    │
        │                               │ STT/TTS/Meet  │    │
        │                               └───────────────┘    │
        └────────────────────────────────────────────────────┘
                    │                  │                │
              ┌─────▼─────┐      ┌─────▼─────┐    ┌─────▼─────┐
              │ OAuth API │      │  Whisper  │    │ ElevenLabs│
              │ (Gmail..) │      │  Local    │    │   TTS API │
              └───────────┘      └───────────┘    └───────────┘

패턴 1 — Memory Tree (계층적 요약)

OpenHuman의 가장 독창적인 발명. 모든 외부 데이터(이메일, 노션 페이지, 슬랙 메시지 등)는 다음 파이프라인을 통과한다.

원본 → 정규화(Canonicalize) → ≤3k 토큰 Markdown 청크 분할 → 스코어링
     → 계층적 요약 트리(상위 노드는 하위 노드의 요약) → SQLite 저장
     → 동시에 Obsidian 호환 .md 파일로 vault에 미러링

덕분에 LLM이 "오늘 이메일 요약해줘"라고 요청받으면 트리 상단의 요약 노드만 읽으면 되고, 자세한 게 필요하면 자식 노드로 내려가면서 점진적으로 확장한다. 이것이 Karpathy가 X에서 제안한 "obsidian-wiki" 패턴의 코드화다.

패턴 2 — TokenJuice (Pre-LLM 압축 레이어)

모든 도구 호출 결과는 LLM에 도달하기 전에 압축 레이어를 거친다. 백엔드 코드(fast_html_to_text)에서 흥미로운 디테일이 발견된다.

패턴 3 — Model Routing (모델 라우팅)

요청의 성격에 따라 자동으로 적절한 LLM을 선택. 사용자는 키 하나만 등록하면 되고, 라우팅 로직이 알아서 최적 모델을 호출한다.

패턴 4 — Battery-aware Scheduler Gate

starship-battery 크레이트로 노트북 배터리 잔량을 감지. 배터리가 적으면 백그라운드 LLM 작업(오토페치, 메모리 정리)을 throttle. 이런 디테일이 OpenHuman을 "데스크톱 시민(desktop citizen)"이라 부르게 만드는 이유다 — OS 위에 얹혀살되 OS 자원을 존중한다.

패턴 5 — Mascot = Computer Use Agent

enigo(마우스/키보드 제어), arboard(클립보드), rdev(전역 이벤트 캡처) 조합으로 마스코트가 사용자 화면 위에서 직접 행동한다. Google Meet 참가자로 들어갈 수 있는 것도 이 컴퓨터 제어 + Whisper(STT) + ElevenLabs(TTS) + 립싱크 비주얼의 조합이다.

레포 구조 해부

어디에 뭐가 있는지.

openhuman/
├── .agents/agents/          # 에이전트 정의 (페르소나, 도구 셋, 시스템 프롬프트)
├── .claude/                 # Claude Code 설정 (이 레포 자체가 Claude로 개발됨!)
├── .codex/commands/         # Codex CLI 명령어 정의
├── app/                     # Tauri 데스크톱 앱 (TypeScript 본체)
├── packages/                # 공유 TypeScript 패키지 (pnpm workspace)
├── src/                     # Rust 코어 메인 소스
│   └── bin/                 # 보조 바이너리들
│       ├── slack_backfill.rs           # 슬랙 과거 메시지 일괄 수집
│       ├── gmail_backfill_3d.rs        # Gmail 3일치 백필
│       ├── memory_tree_init_smoke.rs   # 메모리 트리 초기화 스모크 테스트
│       ├── inference_probe.rs          # LLM 추론 헬스 체크
│       └── test_mcp_stub.rs            # MCP 스텁 테스트용 바이너리
├── docs/                    # 개발자 문서
├── e2e/                     # Playwright E2E 테스트
├── examples/                # 사용 예제
├── gitbooks/                # 사용자 문서 (Gitbook 호스팅)
├── remotion/                # 마스코트 애니메이션 렌더링 (React + Remotion)
├── scripts/                 # 빌드/배포/CI 스크립트
│   ├── deep-work/           # 집중 작업 모드 CLI
│   ├── shortcuts/           # 개발자 단축 명령
│   └── tests/               # 설치 스크립트 테스트
├── tests/                   # Rust 통합 테스트
├── Cargo.toml               # Rust 의존성 (위 분석 참조)
├── package.json             # 모노레포 루트 (pnpm 스크립트만)
├── docker-compose.yml       # 헤드리스 코어 셀프호스팅
├── Dockerfile               # 코어 빌드
├── AGENTS.md                # 에이전트 아키텍처 가이드
└── CLAUDE.md                # Claude Code용 프로젝트 가이드

흥미로운 디테일 4가지

• .claude/ + CLAUDE.md — 이 프로젝트 자체가 Claude Code로 개발됨. AI 에이전트 만드는 사람들이 AI 에이전트로 코딩하는 메타적 풍경.
• remotion/ — Remotion(React로 비디오를 만드는 프레임워크)으로 마스코트 애니메이션을 렌더링. pnpm mascot:render로 빌드.
• scripts/deep-work/ — "집중 작업 모드" CLI. 마스코트가 방해를 차단해주는 기능이 별도 스크립트로 패키징됨.
• 5개 보조 바이너리 분리 — 백필(과거 데이터 일괄 수집)을 별도 바이너리로 분리한 건 큰 메모리 작업 격리 + 크래시 시 메인 프로세스 보호 패턴.

분야별 배울 것

기술 영역마다 무엇을 가져갈지.

Rust — 거대한 에이전트 백엔드 짜기

Tauri 2.x — Rust + TS 데스크톱 앱

Memory Tree / RAG의 진화

OAuth 기반 다중 통합 설계

로컬 음성 처리 (Whisper · cpal)

보안 강화된 Docker 셀프호스팅

하드웨어·시스템 요구사항

최소·권장 사양과 개발 환경.

직접 해볼 수 있는 6단계

난이도별 실습 — Easy → Hard.

실습 1 — 로컬 설치 + 통합 1개 연결Easy

실습 2 — Obsidian 볼트 탐험Easy

실습 3 — TokenJuice 클론 만들기Medium

실습 4 — Tauri로 미니 마스코트Medium

실습 5 — 자체 Memory Tree 엔진Hard

실습 6 — Google Meet Agent 재현Hard

8주 심화 학습 로드맵

주차별로 따라가면 전체 스택 마스터.

핵심 용어 한눈에

자주 마주칠 단어들.

더 깊이 파고들 자료

공식 · 영감 · 학습 리소스.

공식 자료

• tinyhumansai/openhuman (GitHub)
• 공식 사이트 (tinyhumans.ai/openhuman)
• 문서 (Gitbook)
• 아키텍처 가이드
• Discord 커뮤니티
• TrendShift 페이지

영감과 비전

• Karpathy의 LLM Knowledgebase 트윗 — obsidian-wiki 워크플로우
• RAPTOR — Recursive Abstractive Processing for Tree-Organized Retrieval

핵심 라이브러리 · 학습 리소스

• Tauri 공식 가이드 / Axum 문서 / Tokio Tutorial
• whisper-rs / rusqlite / Remotion
• Obsidian (사용자 측 노트 앱)