Voicebox 딥다이브
— 내 컴퓨터 안에서 도는 오픈소스 AI 음성 스튜디오

목소리를 몇 초 녹음으로 복제하고, 7개 TTS 엔진으로 23개 언어를 말하게 하고, 전역 단축키로 어떤 앱에든 받아쓰기(Whisper)를 꽂고, 내장 MCP 서버 하나로 Claude·Cursor 같은 에이전트가 복제된 목소리로 말하게 한다 — 전부 클라우드 없이 기기 안에서. ElevenLabs와 WisprFlow를 합쳐 로컬로 돌리는 느낌의, Tauri(Rust) 데스크탑 앱 + Python FastAPI 백엔드. (저장소: jamiepine/voicebox · v0.5.0 · 638파일 · MIT · Spacedrive 창업자 Jamie Pine)

1프로젝트 한줄 요약

"내 목소리를, 내 컴퓨터 안에서, 사람도 AI 에이전트도 함께 쓰는 음성 작업대로."

먼저 핵심 용어 TTS·STT부터 풀어두자. 컴퓨터가 글자를 소리로 바꾸는 게 TTS(Text-to-Speech, 음성 합성), 반대로 소리를 글자로 받아 적는 게 STT(Speech-to-Text, 음성 인식)다. Voicebox는 이 둘을 모두, 그리고 그 사이에 작은 로컬 LLM(Qwen3)을 끼워 "받아쓴 문장을 다듬거나" "목소리에 성격을 입히는" 일까지 한 앱에서 처리한다.

중요한 구분 하나. Voicebox는 "데스크탑 앱(Tauri)"이지만 그 속은 두 개의 프로그램이다. 겉껍데기는 Rust로 만든 네이티브 셸(창·단축키·오디오 캡처 담당)이고, 진짜 두뇌는 Python FastAPI 서버(AI 추론 담당)다. 앱을 켜면 Rust 셸이 Python 서버를 사이드카(sidecar)로 같이 띄운다. 라이선스는 MIT, 만든 사람은 파일 동기화 앱 Spacedrive로 유명한 Jamie Pine이다.

2왜 주목받는가

"클라우드 음성 SaaS의 기능을, 프라이버시·무료·확장성으로 되사온다."

2026년 현재 AI 음성은 두 갈래로 갈라져 있었다. 한쪽은 ElevenLabs 같은 합성 SaaS(목소리 복제·낭독), 다른 쪽은 WisprFlow 같은 받아쓰기 앱(말하면 글자로). 둘 다 강력하지만 클라우드 종속·구독료·데이터 업로드라는 같은 약점을 안고 있었다.

트렌딩을 끌어올린 진짜 한 방은 "음성 I/O 전체 고리를 하나로 닫았다"는 점이다. 단순한 TTS 모음이 아니라, 입력(받아쓰기) → 다듬기(LLM) → 출력(합성)까지 한 파이프라인으로 연결했고, 그걸 에이전트에게도 개방했다. 만든 사람은 이를 "ElevenLabs + WisprFlow를 합쳐 로컬로 돌리는 것"이라고 표현한다.

경쟁 제품과 무엇이 다른가

물론 대가도 있다. 모델을 직접 내려받아 GPU/메모리로 돌려야 하므로, 클라우드처럼 "버튼만 누르면 끝"은 아니다. 엔진에 따라 300MB~8GB짜리 모델을 받고, 16GB 이상 RAM을 권장한다. 즉 Voicebox의 매력은 "가장 편한 음성 도구"가 아니라 "내가 통제하는, 공짜이고 확장 가능한 음성 인프라"다.

3기술 스택 전체 지도

껍데기는 Rust(Tauri), 두뇌는 Python(FastAPI), 얼굴은 React. 세 언어가 한 앱에서 협업한다.

Voicebox는 Bun 워크스페이스 모노레포(여러 패키지를 한 저장소에)다. 크게 네 덩어리로 나뉜다 — ① 화면(React), ② 네이티브 셸(Rust/Tauri), ③ AI 두뇌(Python/FastAPI), ④ 브라우저 배포(web). 영역별로 "무엇이 무엇을 담당하는지" 지도를 보자.

① 데스크탑 셸 — Tauri 2 (Rust)

창을 띄우고, 전역 단축키를 듣고, 마이크/시스템 오디오를 잡고, 클립보드에 결과를 꽂는 "몸"이다. Electron이 브라우저를 통째로 끼우는 것과 달리, Tauri는 OS 내장 웹뷰만 쓰고 본체는 Rust라 가볍고 빠르다.

② AI 백엔드 — FastAPI (Python 3.11+)

합성·인식·LLM 추론과 약 90개 엔드포인트를 담은 "두뇌"다. Rust 셸이 사이드카로 띄우고, 127.0.0.1:17493에서 HTTP로 대화한다.

③ 프론트엔드 — React 18 (공유 UI)

app/ 한 곳에 진짜 UI가 있고, 데스크탑(Tauri)과 브라우저(web)가 똑같은 React 앱을 공유한다.

설계의 영리함은 "플랫폼 추상화"다. tauri/src/platform/과 web/src/platform/이 똑같은 이름의 인터페이스 모듈(audio.ts·filesystem.ts·lifecycle.ts)을 각자 구현하고, React의 PlatformProvider가 알맞은 것을 주입한다. 그래서 화면 코드 한 벌이 데스크탑 웹뷰에서도, 일반 브라우저에서도 그대로 돈다.

4아키텍처 심화 분석

먼저 전체 그림 한 장 → 그다음 "받아쓰기 한 번"과 "한 문장이 목소리가 되기까지"를 손으로 따라간다.

Voicebox는 네 개의 프로세스로 깔끔하게 나뉜다 — Rust 셸, Python 백엔드, React UI, 그리고 외부 에이전트(MCP). 모든 AI 연산은 가운데 Python 백엔드에 모이고, 그 앞단을 셸·UI·에이전트가 두드린다. 숲을 먼저 보자.

핵심은 백엔드 내부의 4단 계층이다 — 들어온 요청은 routes/(검증만) → services/(흐름 조율) → backends/(실제 추론) → utils/(오디오 후처리) 순으로 흐른다. 라우트 핸들러는 일부러 얇게 두고, 모든 로직은 services/에 모은다. 이제 두 줄기를 따라가자.

흐름 ① — "말하면 글자가 되어 끼어들기까지" (받아쓰기)

# Rust 셸이 OS 레벨에서 통째로 처리하는 받아쓰기 루프
1. 감지      keytap이 단축키 코드(예: 우측 ⌘ 더블탭)를 잡음
2. 녹음      마이크 오디오 캡처 시작 (cpal / 플랫폼별 모듈)
3. 인식      녹음을 백엔드로 → Whisper STT가 글자로 변환
4. 다듬기    로컬 LLM(Qwen3)이 더듬거림·환각 반복 제거(refinement)
5. 삽입      클립보드를 "원자적으로" 저장→내 텍스트 붙여넣기→복원
              → 커서가 있던 어떤 앱에든 글자가 끼어든다

여기서 배울 점이 셋이다. (가) 클립보드를 원자적으로 보존한다 — 붙여넣기 전 기존 클립보드 내용을 저장했다가, 합성 키 입력으로 붙여넣은 뒤 곧바로 복원해 사용자의 복사 내용을 망치지 않는다. (나) 환각 반복 제거 — Whisper가 무음에서 "thanks for watching"을 반복하는 고질병을, refinement.py의 collapse_repetitive_artifacts()가 단어·문자 단위로 걸러낸다. (다) 받아쓰기 전 과정이 OS 통합 — 캡처·붙여넣기·포커스 복원이 전부 Rust 네이티브로 처리된다.

흐름 ② — "한 문장이 복제된 목소리가 되기까지" (합성)

# services/generation.py → run_generation() 한 함수가 모든 모드 처리
1. (선택)성격  personality.py가 LLM으로 텍스트에 페르소나 입힘
2. 청크 분할   chunked_tts.py가 문장 경계로 안전 분할
              (약어 Dr./e.g., 소수점, [tag], CJK 。！？ 보호)
3. 음성 합성  선택한 TTS 엔진이 각 청크를 독립 생성
              (복제: 참조오디오+대본을 zero-shot으로 주입)
4. 이어붙이기  equal-power 크로스페이드로 청크 경계 클릭음 제거
5. 이펙트     pedalboard로 8종 후처리 → .wav 파일 → 스피커

가장 인상적인 설계는 "엔진을 갈아 끼워도 윗단은 그대로"라는 점이다. 7개나 되는 TTS 엔진(Qwen3-TTS·Chatterbox·Kokoro…)이 전부 같은 약속(Protocol)을 따르기 때문에, 합성을 부르는 코드는 어떤 엔진인지 알 필요가 없다. 무제한 길이 생성을 위한 chunked_tts.py의 문장 분할기는 그 자체로 잘 만든 NLP 예제다 — 약어·소수점·대괄호 태그·CJK 문장부호를 모두 존중하며 자른다.

설계 패턴 — 이 레포에서 "정상"이 뭔지

(가) 프로토콜 기반 엔진 추상화 — backends/__init__.py가 TTSBackend·STTBackend·LLMBackend를 typing.Protocol로 정의하고, 엔진별 파일이 이를 구현한다. 등록은 ModelConfig 데이터클래스로 선언적으로 — 새 엔진 추가 = "프로토콜 구현 + 설정 등록"이 전부. (나) 플랫폼 조건부 백엔드 — platform_detect.py가 Apple Silicon이면 mlx, 아니면 pytorch를 고른다. CUDA·ROCm·MLX·CPU의 차이가 추론 계층 위로는 보이지 않는다. (다) 직렬 GPU 큐 — task_queue.py가 한 번에 하나의 추론만 돌려 GPU 경합을 막고, 진행률은 SSE로 흘리며, 크래시로 멈춘 작업은 재시작 때 자동 복구한다.

5디렉토리 구조 해부

폴더 이름이 곧 책임이다. "AI 두뇌(backend)"와 "네이티브 셸(tauri)"이 양대 축.

모노레포의 최상위는 역할별로 나뉜다. 처음 본다면 backend/(Python 두뇌)와 tauri/(Rust 셸) 두 폴더만 잡아도 절반은 이해한 것이다. 화면은 app/에 한 벌만 있다.

6학습 포인트 (기술별)

이 레포 하나로 "Tauri 네이티브 + Python ML 백엔드 + 음성 AI + MCP + 프론트 공유"를 한꺼번에.

Voicebox는 단일 기술 예제가 아니라 현대 로컬 AI 데스크탑 앱의 부품이 다 모인 교과서다. 분야별로 무엇을 건질지 짚는다.

7하드웨어/시스템 요구사항

"모델을 내 GPU로 돌린다"가 핵심. RAM 16GB+ 권장, 모델은 300MB~8GB.

Voicebox는 클라우드가 아니라 내 기기의 GPU/CPU로 모델을 돌린다. 그래서 "어떤 가속기를 쓰느냐"가 속도를 좌우한다. 다행히 백엔드가 환경을 감지해 알맞은 경로를 고른다.

엔진별 모델 크기 (다운로드 용량 — 디스크/메모리 계획용)

학습 목적이라면 가장 가벼운 출발점은 Kokoro(350MB) 한 엔진이다. 8GB RAM이면 충분히 돌아가고, 합성 파이프라인 전체를 체험할 수 있다. 복제(Qwen3-TTS)나 다국어(Chatterbox)는 디스크·메모리 여유가 생기면 추가하면 된다. VOICEBOX_MODELS_DIR 환경변수로 모델 저장 위치를 바꿀 수 있고(곧 HF_HUB_CACHE로 연결), 쓰지 않는 모델은 개별 언로드해 GPU 메모리를 비운다.

8직접 해볼 수 있는 실습 과제

"앱 설치·복제"는 10분, "MCP 연결·코드 읽기"는 한나절, "새 TTS 엔진 추가"는 주말 프로젝트. 난이도 순.

9관련 기술 심화 학습 로드맵

4주 코스 — "음성 AI 기초" → "데스크탑 통합" → "에이전트 개방" → "직접 확장".

Voicebox를 제대로 소화하려면 음성 ML과 데스크탑 시스템 프로그래밍을 함께 봐야 한다. 한 번에 다 하려 하지 말고, 주차별로 한 축씩 잡는 걸 권한다.

10핵심 키워드 사전

레포를 읽다 마주칠 용어를 한곳에.

11참고 링크

원본을 직접 확인하며 깊이 파보자.