Arbor 딥다이브
— 가설을 나무처럼 키워 스스로 실험하는 자율 연구 에이전트

RUC-NLPIR/Arbor. 벤치마크(채점 가능한 과제)와 목표를 주면, 가설을 제안하고 → 코드를 고치고 → 진짜 실험을 돌리고 → 결과에서 배우고 → 검증을 통과한 개선만 남기는 자율 연구 에이전트(autonomous research agent)다. 한 번 시도하고 잊어버리는 보통의 에이전트와 달리, 모든 아이디어를 가설 트리(Idea Tree)의 가지로 키운다 — 실패하면 쳐내고(prune), 성공하면 거두고(harvest), 거기서 얻은 교훈을 위로 전파해 다음 아이디어가 더 똑똑하게 출발한다. 중국 인민대(RUC) Gaoling AI 스쿨과 Microsoft Research가 만들었다. (저장소: RUC-NLPIR/Arbor · 언어 Python ≥3.10 · ★상승 중(TrendShift 라이브 멘션) · 라이선스 Apache-2.0 · 논문 arXiv:2606.11926)

1프로젝트 한줄 요약

"실험을 한 번 하고 끝내는 게 아니라, 실패와 성공을 나무에 기록하며 점점 똑똑해지는 연구 조수."

좀 더 구체적으로, Arbor는 Python으로 만든 명령줄 도구(CLI)입니다. 터미널에 arbor 한 번 치면 대화형 연구 세션이 시작되고, "무엇을·어디서·어떤 점수로 좋게 만들지"를 먼저 정리한 뒤(이걸 리서치 계약서라 부릅니다) 본격적인 실험 루프가 돕니다. 적용 범위가 넓어서 모델 학습, 에이전트 성능 튜닝, 데이터 합성, 알고리즘 최적화처럼 "좋게 만들 대상과 잴 수 있는 점수만 있으면" 무엇이든 최적화할 수 있다고 표방합니다.

이 문서가 주목하는 건 사용법만이 아니라 그 안의 설계입니다 — "어떻게 두 개의 AI가 역할을 나눠 협력하는가", "실험이 서로 망가뜨리지 않게 어떻게 격리하는가", "AI가 스스로를 속이지 않게(점수 부풀리기) 어떻게 막는가". 자율 에이전트를 처음 공부하는 사람에게 잘 짜인 교본입니다.

2왜 주목받는가

"같은 컴퓨팅 예산으로 Claude Code·Codex를 2.5배 앞섰다" — 단일 에이전트의 한계를 구조로 넘었다.

먼저, 보통의 코딩 에이전트는 무엇이 아쉬운가

Claude Code, Codex 같은 코딩 에이전트는 똑똑하지만, 긴 연구성 과제에서 약점이 있습니다. 대화가 길어지면 앞에서 무엇이 실패했는지 잊고, 같은 막다른 길을 다시 들어가거나, 한 번에 한 갈래만 깊게 파다가 더 좋은 방향을 놓칩니다. 사람 연구자라면 실험 노트에 "이 방법은 과적합이라 버림"이라고 적어 두고 다음엔 피하죠. 보통의 에이전트에겐 그 노트가 없습니다 — 맥락이 길어지면 그냥 화면 위로 스크롤되어 사라집니다.

이 구조 덕분에 Arbor는 같은 컴퓨팅 예산에서 단일 에이전트보다 더 멀리 갑니다. 미국 IT 매체 VentureBeat는 2026년 6월 "새 AI 최적화 프레임워크가 같은 예산으로 Claude Code와 Codex를 2.5배 앞섰다"는 제목으로 이 프로젝트를 소개했습니다. 논문(arXiv:2606.11926)은 모델 학습·에이전트 엔지니어링·데이터 합성 등 여섯 가지 서로 다른 과제에서 동일한 컨트롤러로 강력한 단일 에이전트 베이스라인을 모두 이겼다고 보고합니다.

비슷한 도구들과 무엇이 다른가

다시 말해, Arbor는 코딩 에이전트를 대체하는 게 아니라 그 위에 연구 규율(어떻게 탐색·평가·기록할지)을 씌운 메타 시스템에 가깝습니다. 실제로 실험 코드를 짜는 일꾼(Executor)은 내부적으로 LLM이고, Claude Code의 오픈소스 재구현인 claw-code의 REPL·도구 호출 기반 위에 세워졌습니다.

논문이 보고한 성적

같은 컨트롤러를 과제만 바꿔 적용했고, 모두 처음 보는 테스트(held-out)에서 이겼다고 합니다. 숫자는 "초기 → Arbor" 개선폭입니다.

※ 벤치마크 수치는 저자(개발팀)가 자기 논문에서 보고한 값입니다. 독립 재현 결과는 아니니, 정확한 실험 조건은 논문 본문을 확인하세요.

3기술 스택 전체 지도

"Python 한 언어로, 여러 LLM 공급자를 한 인터페이스 뒤에 숨기고, git을 안전판으로 쓴다."

Arbor는 무거운 웹 프레임워크나 데이터베이스 없이, 순수 Python 패키지 + 표준 도구(git)로 돌아갑니다. "서버를 띄운다"기보다 "터미널에서 실행하는 연구 도구"라서 구성이 단출합니다. 소스는 약 3.5만 줄 규모이고, src/ 폴더가 arbor라는 이름의 패키지로 설치됩니다.

코어 — 에이전트와 LLM 연결

CLI / 사용자 화면

연구 인프라 — 격리·검색·확장

4아키텍처 심화 분석 — 아이디어 하나가 검증되기까지

"전략을 짜는 감독과 실험을 돌리는 엔지니어, 두 AI가 역할을 나눈다."

먼저 전체 그림 한 장

Arbor의 핵심은 두 개의 협력하는 에이전트입니다. 한 명은 "무엇을 시도할지" 정하는 Coordinator(코디네이터, 연구 감독), 다른 한 명은 "그 하나를 실제로 구현·실행"하는 Executor(실행자, 연구 엔지니어). 둘 사이의 공용 메모는 아이디어 트리입니다.

여기서 중요한 설계 결정은 전략(어떤 가설이 시험할 가치가 있나)과 실행(그 가설을 진짜로 만들기)을 분리한 것입니다. 감독은 코드를 직접 짜지 않고, 엔지니어는 큰 그림을 고민하지 않습니다. 각자 한 가지에 집중하니 둘 다 잘하게 됩니다.

여섯 박자로 도는 'arbor cycle'

Coordinator는 아래 여섯 단계를 한 사이클로 계속 반복합니다. 멈추는 조건(예산 소진·수렴·목표 달성)이 올 때까지요.

핵심은 ⑤ 역전파입니다. 실험이 끝나면 LLM이 "왜 성공/실패했는가"를 한 문장으로 추상화합니다 — 예: "이득은 새 레이어가 아니라 보정(calibration)에서 나왔다", "폴드 구성에서 데이터 누수가 있었다". 그 교훈을 트리 위로 적어 두면, 형제·자손 아이디어가 그 지식에서 출발합니다. 매번 처음부터 다시 배우지 않는 거죠.

아이디어 트리의 실제 모습

트리의 각 노드는 가설 하나이고, 상태(pending·running·merged·pruned 등)·점수·교훈이 붙습니다. 깊이마다 추상화 수준이 다릅니다.

흐름 한 줄기 따라가기 — "정확도 좀 높여줘"라고 했을 때

가장 대표적인 한 흐름을 입력부터 출력까지 손으로 따라가 보겠습니다(핵심 줄만 형광).

그리고 ⑤의 worktree 격리가 모든 걸 안전하게 만듭니다. 실험은 각자 브랜치에서 돌아 서로 안 건드리고, 당신의 main은 당신이 직접 git merge 하기 전까지 그대로입니다. 실패한 가지는 그냥 버리면 되니 되돌리기(reversible)가 공짜입니다. 사람이 끼어들고 싶으면 interaction_mode를 auto(완전 자율)에서 review(매 단계 승인)로 올려 감독 수위를 조절할 수 있습니다.

5디렉토리 구조 해부

"코드는 src/ 안에 있지만 arbor 라는 이름으로 설치된다 — 폴더 이름이 곧 역할이다."

저장소를 처음 열면 폴더가 많아 막막하지만, 핵심은 src/(코드)와 skills/(키리스 플레이북) 두 곳입니다. 나머지는 문서·예제·설정입니다.

6학습 포인트 (기술별)

"이 레포에서 무엇을 훔쳐 배울 수 있는가 — 자율 에이전트 설계의 살아 있는 교본."

# src/coordinator/idea_tree.py — Node 핵심 필드
id: str            # "ROOT", "1", "1.1" 처럼 족보식 번호
parent_id: str
status: "pending"|"running"|"done"|"merged"|"pruned"
hypothesis: str    # 무엇을 시도하나
score: float       # 절대 점수(예: 45.2)
insight: str       # 무엇을 배웠나(역전파로 채워짐)
code_ref: str      # 이 실험의 git 브랜치 이름

# 검증된 개선을 내 메인에 반영하는 건 '내가' 직접
git merge research/run_xxx/trunk

# research_config.yaml
coordinator:
  merge_threshold: 5.0   # held-out 점수가 +5% 넘게 올라야 병합

7시스템 요구사항

"GPU가 꼭 필요한 건 아니다 — 데모와 예제 과제는 CPU로 충분하다."

Arbor 자체는 가벼운 Python 도구입니다. 무거운 자원은 "Executor가 무슨 실험을 돌리느냐"에 달려 있습니다 — 모델 학습이면 GPU가, 알고리즘 최적화면 CPU만 있어도 됩니다.

8직접 해볼 수 있는 실습 과제

"보는 것부터 시작해, 점점 직접 굴려 본다 — API 키 없이도 절반은 된다."

pip install arbor-agent
arbor replay --demo          # 대시보드로 재생
arbor replay --demo --html   # 자기완결 HTML로 내보내기

cp -r examples/algotune_knn /tmp/algotune_knn
cd /tmp/algotune_knn
git init -q && git add -A && git commit -qm baseline
arbor

arbor idea-check "멀티홉 QA를 개체-관계 스크래치패드로 개선"

arbor --cwd ./benchmark --config research_config.yaml --max-cycles 3

# research_config.yaml
plugin: mle_kaggle   # 데이터 보호·제출 경로·24h 예산이 한꺼번에 적용

claude plugin marketplace add RUC-NLPIR/Arbor
claude plugin install arbor   # 스킬 + 'arbor mcp' 도구 동시 등록

9관련 기술 심화 학습 로드맵

"Arbor를 제대로 이해하려면 알아야 할 것들을 4주로 나눴다."

10핵심 키워드 사전

"이 문서와 저장소에서 반복되는 용어를 한곳에 모았다."

11참고 링크

• GitHub 저장소 — github.com/RUC-NLPIR/Arbor
• 논문(arXiv) — arxiv.org/abs/2606.11926 "Toward Generalist Autonomous Research via Hypothesis-Tree Refinement"
• 프로젝트 페이지 — RUC-NLPIR.github.io/Arbor
• 문서(Docs) — how-it-works · configuration · cli · skills
• 기반 프로젝트 claw-code — github.com/ultraworkers/claw-code
• 알고리즘 최적화 벤치마크 AlgoTune — algotune.io