OpenMontage 딥다이브
— AI 코딩 어시스턴트를 통째로 '영상 제작 스튜디오'로 바꾸는 법

1프로젝트 한줄 요약

한 문장으로 이 프로젝트가 뭘 하는지부터.

OpenMontage = "AI 코딩 어시스턴트에게 쥐여주는, 영상 제작 스튜디오 한 채." 보통 'AI 영상 자동화'라고 하면 "버튼 누르면 영상이 뚝딱" 나오는 코드 파이프라인을 떠올린다. OpenMontage는 정반대 길을 간다. 영상을 만드는 판단·연출·검수는 전부 사람이 읽을 수 있는 설명서(마크다운·YAML)에 적어 두고, 그 설명서를 AI 코딩 어시스턴트가 읽으며 스스로 연출한다. 파이썬 코드는 "FFmpeg로 영상 자르기", "TTS로 내레이션 만들기"처럼 손발(도구) 역할만 하고, "어떤 장면을 어떤 순서로, 어떤 톤으로" 같은 머리(연출)는 에이전트의 몫이다.

한 가지 미리 짚어 둘 점 — 이 프로젝트는 표준 연결 규격(MCP)을 쓰지 않는다. 대신 Claude Code의 CLAUDE.md, Cursor의 규칙 파일, Copilot 지시 파일처럼 각 어시스턴트가 원래 읽는 자리에 "먼저 AGENT_GUIDE.md를 읽어라"라고만 적어 둔다. 즉 어떤 특별한 서버를 띄우는 게 아니라, 에이전트가 읽는 문서를 잘 깔아 두는 것만으로 통합이 끝난다. 이 단순함이 이 레포의 핵심 매력이자 학습 포인트다.

2왜 주목받는가

TrendShift 일간 5위 — 2026년 신생 레포가 빠르게 떠오른 이유.

2025~2026년은 "AI 코딩 어시스턴트가 코드 말고 다른 것도 만들 수 있나?"를 모두가 실험하는 시기다. 그러던 차에 OpenMontage가 던진 답이 강렬했다 — "코딩 어시스턴트를 그대로 영상 제작 감독으로 쓸 수 있다." 떠오른 이유를 다섯 가지로 정리하면:

① 영상 한 편을 처음부터 끝까지 — 리서치부터 렌더까지

주제 한 줄만 주면 에이전트가 자료 조사 → 기획안 → 각본 → 장면 계획 → 그림·음성·음악 생성 → 편집 → 최종 렌더까지 한 줄기로 끌고 간다. 부분 도구(자막 생성기, TTS) 하나가 아니라 제작 워크플로우 전체를 다룬다는 점이 차별점이다.

② "지능은 코드가 아니라 설명서에 둔다"는 명확한 설계 사상

이 레포가 가르치는 가장 큰 교훈이다. 보통 자동화는 흐름을 코드에 박지만, OpenMontage는 흐름·판단·검수 기준을 전부 사람이 읽는 마크다운/YAML에 적어 둔다. 그래서 비개발자도 연출 규칙을 읽고 고칠 수 있고, 새 에이전트가 와도 "문서만 읽으면" 똑같이 동작한다.

③ 어시스턴트 종류를 안 가린다 (MCP 없이 네이티브 통합)

Claude Code·Cursor·Copilot·Codex·Windsurf 등 주요 코딩 어시스턴트의 '원래 읽는 설정 파일'(CLAUDE.md·.cursor/rules·copilot-instructions.md …)에 똑같은 안내를 깔아, 별도 서버나 플러그인 설치 없이 붙는다. "특별한 연결 규격을 안 쓰는 게 오히려 강점"인 드문 사례다.

④ 무료-우선 설계 — 유료 API 없이도 진짜 영상이 나온다

대표적으로 다큐멘터리 몽타주 파이프라인은 유료 영상 생성 API를 전혀 안 쓰고, Pexels·Archive.org·NASA·Wikimedia 같은 무료 공개 영상을 의미 검색(CLIP)으로 골라 편집한다. 내레이션도 Piper TTS로 오프라인·무료 생성이 가능하다. API 키가 많을수록 쓸 수 있는 툴이 늘어나는 구조라, 0원으로 시작할 수 있다.

⑤ 품질·예산 '안전장치'를 코드로 강제

에이전트가 폭주하지 않도록 가드레일을 코드로 박아 뒀다. "정지 화면만 이어 붙인 슬라이드쇼"는 렌더를 막고(slideshow_risk), 최종 영상은 ffprobe로 실제 길이·오디오를 검증하며, 유료 생성 호출은 건당·총액 예산 상한을 넘으면 사람 승인을 요구한다(기본 총 $10, 건당 $0.5).

3기술 스택 전체 지도

README · requirements.txt · pipeline_defs · tools 레지스트리 · remotion-composer에서 확인한 구성.

먼저 마음의 준비 — 이 레포는 우리가 흔히 떠올리는 "백엔드+프론트+DB" 웹 스택이 아니다. 파일 구성부터 특이하다. 마크다운 881개(설명서!), 파이썬 353개, TypeScript/TSX 44개. 즉 코드보다 '에이전트가 읽을 글'이 더 많은 instruction-driven 프로젝트다. 층을 다섯으로 나눠 보자.

ⓐ 오케스트레이션 층 — '두뇌'는 코드가 아니다

가장 중요한 사실: 제작을 지휘하는 오케스트레이터 코드가 없다. 그 자리를 AI 코딩 어시스턴트가 채운다. 그래서 파이썬 의존성이 놀랄 만큼 가볍다.

ⓑ 툴 층 — 에이전트의 '손발' 85개

tools/ 폴더의 모든 파일은 BaseTool이라는 공통 틀을 상속한다. 레지스트리가 폴더를 훑어 85개를 자동 등록한다. 카테고리별 개수:

ⓒ 렌더 층 — 영상을 '코드로 그린다'

OpenMontage는 영상을 만드는 두 가지 렌더 엔진을 갖는다. 둘 다 가능하면 에이전트가 둘 다 제안하도록 규칙이 박혀 있다.

ⓓ 지식 층 — 3개의 레이어로 나뉜 '설명서'

이 레포의 진짜 심장. 지식을 3단 구조로 분리해 둔다(skills/INDEX.md에 명문화).

ⓔ 외부 도구 의존성 — 무료 오픈소스가 뼈대

유료 API는 전부 선택이고, 뼈대는 무료 오픈소스 도구다.

4아키텍처 심화 분석

먼저 전체 그림을 한 장으로 본 뒤, 대표 흐름 두 줄기(영상 제작·도구 선택)를 끝까지 따라간다.

부품 이름을 외우기 전에 숲부터 보자. 이 시스템의 일은 한 문장이다 — "에이전트가 설명서(매니페스트+스킬)를 읽고, 레지스트리의 툴을 단계별로 호출해 영상을 만든다." 특이한 건 가운데에 '지휘 프로그램'이 없고, 그 자리를 AI 코딩 어시스턴트가 직접 채운다는 점이다.

독수리 시점 — 전체 구조 한 장

흐름 ① — "설명 영상 만들어줘" (해피패스만)

가장 대표적인 animated-explainer 파이프라인을 따라가 보자. 곁가지는 접고 핵심 줄기만:

# AGENT_GUIDE.md 가 강제하는 순서 (Rule Zero)
1. research   주제 자료 조사 → 사실·출처 정리 (research-director.md)
2. proposal  2~3개 컨셉 제안 → 사용자 승인 (체크포인트)
3. script     내레이션 각본 작성 (script-director.md)
4. scene_plan 장면 단위로 쪼개 "각 장면에 무슨 비주얼" 계획
5. assets    그림·음성·음악 생성 — 여기서 provider 선택 점수가 작동
6. edit       클립을 자르고 이어 붙임 (FFmpeg)
7. compose   Remotion/HyperFrames 로 최종 렌더 → ffprobe 로 검증
   (8. publish) 선택 — 포맷/업로드

여기서 이 레포 특유의 규칙이 "즉석 파이썬 스크립트로 툴을 직접 부르지 말 것"이다. 반드시 파이프라인을 거치고, 단계마다 디렉터 스킬을 먼저 읽어야 한다. 왜냐면 '정확한 사실'은 툴이, '연출 판단'은 에이전트가 한다는 분업을 지키기 위해서다. 곁가지(에러 재시도·수정 루프)는 max_revisions 같은 매니페스트 설정으로 통제되지만, 여기선 생략한다.

흐름 ② — "어떤 생성 도구를 쓸까?" (provider 자동 선택)

assets 단계에서 "이미지를 FLUX로 만들까, Imagen으로 만들까?"를 에이전트가 감으로 찍지 않는다. lib/scoring.py가 7가지 기준에 가중치를 곱해 점수를 매기고, 가장 높은 provider를 추천한다.

# lib/scoring.py — 7차원 가중 점수 (합 = 1.0)
task_fit         0.30   # 이 작업에 얼마나 맞나
output_quality   0.20   # 결과물 품질
control          0.15   # 세밀한 제어 가능성
reliability      0.15   # 안정성
cost_efficiency  0.10   # 가성비
latency          0.05   # 속도
continuity       0.05   # 앞 장면과의 일관성
→ 최고점 provider 추천 + 왜 골랐는지 decision_log 에 기록

이게 ②번의 핵심이다 — 선택이 설명 가능(explainable)하다. "ElevenLabs를 고른 이유: 품질·안정성 기여가 가장 컸음"처럼 사람이 읽을 문장으로 근거를 남긴다. 게다가 어떤 provider가 실제로 쓸 수 있는지는 API 키·GPU 유무에 따라 달라지므로, 레지스트리가 매번 "지금 가능한 메뉴"를 먼저 추려 준다.

이 레포에서 "정상"인 관례 하나 — 모든 툴은 자신을 capability(능력), runtime(LOCAL/GPU/API 어디서 도나), cost(비용), agent_skills(읽어야 할 Layer 3 문서)로 스스로 신고한다. 코드를 읽다 이 필드들이 보이면 "아, 이 툴이 자기 명세를 선언하는 부분이구나"로 보면 된다.

5디렉토리 구조 해부

파일 1,362개지만, 핵심은 "툴·매니페스트·스킬·렌더" 네 덩어리다.

파일이 많아 보여도 대부분은 마크다운 스킬 문서다. 구조를 이해하는 열쇠는 "무엇이 있나(Layer 1) · 어떻게 쓰나(Layer 2) · 기술 원리(Layer 3)"의 3단 분리다. 큰 덩어리만 보자.

6학습 포인트 (기술별)

이 레포 한 채로 배울 수 있는 기술과, 각각의 실습 아이디어.

이 프로젝트는 "2026년 에이전트 설계의 모범 패턴"이 한곳에 모여 있어 공부 소재로 훌륭하다. 영상 기술보다 '에이전트를 어떻게 설계하나'가 진짜 배울 점이다.

7시스템 요구사항

무료로 시작할 때와, 본격적으로 쓸 때(GPU·API)로 나눠서.

핵심은 "무료 스택만으로도 동작하고, 키를 더할수록 능력이 커진다"는 점이다. FFmpeg 하나만 있으면 다큐 몽타주는 0원으로 만들 수 있다.

설치는 make setup으로 시작하고, make preflight로 "지금 환경에서 어떤 툴이 활성화됐는지"를 점검할 수 있다. 키가 하나도 없어도 documentary-montage·screen-demo 같은 무료 파이프라인은 동작한다.

8직접 해볼 수 있는 실습 과제

읽기만 해도 절반은 배운다. 난이도 순으로.

9관련 기술 심화 학습 로드맵

이 레포를 100% 소화하기 위한 6주 코스(주당 5~7시간 가정).

10핵심 키워드 사전

이 문서와 레포에 등장한 용어를 한자리에.

11참고 링크

원문·관련 기술 더 파기.

• GitHub 저장소 — github.com/calesthio/OpenMontage (README·매니페스트·툴·스킬)
• TrendShift 페이지 — trendshift.io/repositories/24682
• Remotion — remotion.dev (React로 영상 만들기 — 4주차 핵심)
• Anthropic — Agent Skills — anthropic.com/news/skills (SKILL.md 스킬 개념의 출발점)
• Model Context Protocol — modelcontextprotocol.io (이 레포가 '안 쓴' 표준 — 대조용)
• FFmpeg — ffmpeg.org (영상 처리의 기반·필수)
• WhisperX — github.com/m-bain/whisperX (단어 단위 자막)
• Piper TTS — github.com/rhasspy/piper (무료 오프라인 내레이션)
• OpenAI CLIP — github.com/openai/CLIP (의미 검색의 핵심)