meetily 딥다이브
— "회의를 통째로 내 노트북 안에서": 로컬 STT × 멀티프로바이더 LLM × Tauri 데스크톱

1프로젝트 한줄 요약

이 저장소가 대체 무엇인가.

meetily(제품명 Meetily, 원 저장소명 meeting-minutes)는 마이크와 시스템 소리(상대방 목소리)를 동시에 잡아 실시간으로 자막을 만들고, 회의가 끝나면 로컬 LLM으로 요약본을 생성하는 데스크톱 앱이다. 핵심 원칙은 단 하나 — 데이터가 내 기기를 절대 떠나지 않는다. 음성인식 모델도, 녹음 파일도, 전사문도, 요약도 전부 로컬 디스크에 저장된다.

코드상 버전은 0.4.0이며 라이선스는 관대한 MIT(제작사 Zackriya Solutions, 웹사이트 meetily.ai). 지원 대상은 Tauri 데스크톱 앱 하나로 통일됐고 macOS·Windows·Linux를 모두 지원한다. 과거 존재했던 Python/FastAPI 백엔드는 archived(보관·미지원) 상태로, 현재 모든 로직은 Rust 코어가 담당한다. 유료 PRO 버전(화자 분리·고급 내보내기 등)도 있지만, 커뮤니티 에디션은 "영원히 무료·오픈소스"를 표방한다.

2왜 주목받는가

트렌딩 이유와, 흔한 "받아쓰기 앱"과의 결정적 차이.

① 프라이버시가 '옵션'이 아니라 '아키텍처'다

대부분의 회의 AI는 "데이터를 안전하게 다룬다"고 약속하지만, 결국 음성을 자기 서버로 올려 처리한다. meetily는 애초에 서버가 없다. 음성인식은 노트북의 Whisper.cpp / Parakeet가, 요약은 Ollama·llama.cpp가 로컬에서 수행한다. GDPR·의료·법률·국방처럼 데이터 주권(data sovereignty)이 필수인 곳에서 "구조적으로" 안전하다는 것이 최대 강점이다.

② 음성인식 엔진을 갈아끼울 수 있다 (Whisper ↔ Parakeet)

meetily는 전사 엔진을 TranscriptionProvider라는 하나의 트레이트(인터페이스)로 추상화했다. 그래서 정확도가 좋은 OpenAI Whisper와, NVIDIA가 만든 초고속 Parakeet(ONNX)를 같은 코드 경로로 교체할 수 있다. "정확도 우선 / 속도 우선"을 사용자가 고르게 하는 실전 설계다. 두 엔진 모두 GPU 가속(macOS Metal·CoreML, NVIDIA CUDA, AMD/Intel Vulkan)이 자동으로 켜진다.

③ 요약 LLM을 자유롭게 고른다 (로컬·클라우드 혼합)

요약 단계는 Ollama(로컬)·llama.cpp(내장 사이드카)·Claude·Groq·OpenRouter·OpenAI·커스텀 엔드포인트를 모두 지원한다. 프라이버시가 중요하면 로컬, 품질이 급하면 클라우드 — 한 앱 안에서 상황에 따라 스위칭한다. 내부적으로는 대부분 "OpenAI 호환 API" 형식으로 통일하고, Claude만 별도 포맷으로 처리하는 얇은 어댑터 층을 둔다.

④ 스크립트가 아니라 '진짜 제품'이다

루트의 파일 몇 개가 전부가 아니다. Rust 소스만 130여 개 파일이 audio · audio_v2 · whisper_engine · parakeet_engine · summary · database · 각 LLM 프로바이더 모듈로 정교하게 나뉘고, 프로 오디오 믹싱(RMS 더킹·클리핑 방지)·EBU R128 음량 정규화·RNNoise 잡음제거·VAD·GPU 자동감지·자동 업데이트·트레이 아이콘·크로스플랫폼 빌드 스크립트까지 갖췄다. "로컬 AI 스크립트"를 어떻게 배포 가능한 데스크톱 제품으로 키우는지 보여주는 표본이다.

3기술 스택 전체 지도

무엇으로 만들어졌나 — 계층별로. (Cargo.toml·package.json에서 실제 확인)

데스크톱 셸 & 프런트엔드

그 밖에 framer-motion(애니메이션), react-hook-form+zod(폼·검증), react-markdown+remark-gfm(요약 렌더), sonner(토스트), Tauri 플러그인 fs·store·dialog·notification·updater·process·os·single-instance를 쓴다.

Rust 코어 — 오디오/전사/요약 엔진

macOS는 시스템 오디오 캡처에 cidre(ScreenCaptureKit 바인딩)와 core-graphics·objc를, 분석에 whatlang(요약 언어 감지)을, 텔레메트리에 posthog-rs를 쓴다.

로컬 LLM 사이드카 — llama-helper

즉 요약용 로컬 LLM은 메인 프로세스가 아니라 별도 프로세스(사이드카)로 띄운다. 무거운 모델이 죽어도 앱 본체는 살아있게 하는 격리 설계다.

레거시(보관) — Python 백엔드

backend/의 FastAPI·Docker·standalone whisper-server는 archived(미지원)다. CLAUDE.md는 "이 코드는 역사·마이그레이션 참고용일 뿐, 새 개발·배포·이슈 트리아지에 쓰지 말라"고 못박는다. 특히 옛 FastAPI의 인증 없는 개발용 CORS 설정은 "지원되는 프로덕션 API가 아니다"라고 명시한다. backend/whisper.cpp는 Zackriya 포크를 서브모듈로 참조한다.

4아키텍처 심화 분석

데이터가 마이크에서 요약까지 어떻게 흐르는가.

전체 그림 — 단일 Tauri 앱, 세 개의 엔진

핵심 설계 ① — 오디오의 '두 갈래 길'(녹음 vs 전사)

meetily 아키텍처에서 가장 배울 점이 많은 부분이다. 마이크와 시스템 오디오가 들어오면, 파이프라인은 같은 소리를 목적이 다른 두 경로로 동시에 흘려보낸다.

왜 나누나? 녹음은 "나중에 다시 들을 원음"이라 모든 소리를 곱게 믹싱해 보존해야 한다. 반대로 전사는 "글자로 바꿀 말소리"만 필요하므로, VAD(음성 활동 감지)로 침묵·잡음 구간을 버려 음성인식 연산을 아낀다. 하나의 스트림에서 목적별로 처리를 분기하는 전형적 실전 패턴이다.

핵심 설계 ② — 링버퍼 믹싱과 RMS 더킹

마이크와 시스템 오디오는 서로 다른 속도로 비동기 도착한다. 그대로 더하면 어긋난다. meetily는 VecDeque 기반 링버퍼에 샘플을 쌓아두고, 두 스트림이 같은 시간창(50ms)만큼 모였을 때 정렬해 섞는다. 이때 RMS 기반 더킹(한쪽이 커지면 다른 쪽을 살짝 눌러 줌)으로 시스템 소리가 사람 목소리를 덮지 않게 한다. 방송 엔지니어링에서 쓰는 기법을 그대로 구현했다.

핵심 설계 ③ — 엔진 추상화 트레이트

전사와 요약 모두 "인터페이스로 먼저 정의하고, 구현을 갈아끼우는" 방식이다. 전사 쪽은 TranscriptionProvider 트레이트가 transcribe(audio, language) 한 메서드로 Whisper·Parakeet를 통일한다.

// audio/transcription/provider.rs
#[async_trait]
pub trait TranscriptionProvider: Send + Sync {
    async fn transcribe(
        &self,
        audio: Vec<f32>,              // 16kHz 모노 샘플
        language: Option<String>,     // "en", "ko" …
    ) -> Result<TranscriptResult, TranscriptionError>;

    async fn is_model_loaded(&self) -> bool;
    fn provider_name(&self) -> &'static str;   // 로깅용
}

요약 쪽도 마찬가지로 LLMProvider 열거형(OpenAI·Claude·Groq·OpenRouter·Ollama…)으로 분기하되, 요청/응답 구조체를 OpenAI 호환 형식으로 통일하고 Claude만 ClaudeRequest/ClaudeChatResponse로 따로 처리한다. 새 프로바이더를 추가할 때 이 얇은 어댑터만 구현하면 된다.

핵심 설계 ④ — Tauri 커맨드/이벤트 양방향 통신

프런트(UI)와 Rust 코어는 두 방향으로 대화한다. UI→Rust는 커맨드(요청/응답), Rust→UI는 이벤트(스트리밍 푸시)다.

// UI → Rust : 커맨드 호출
await invoke('start_recording', {
  mic_device_name: "Built-in Microphone",
  system_device_name: "BlackHole 2ch",
  meeting_name: "팀 스탠드업"
});

// Rust → UI : 실시간 자막 이벤트 방출
app.emit("transcript-update", TranscriptUpdate {
    text: "안녕하세요".to_string(),
    timestamp: Utc::now(),
});

UI는 listen("transcript-update", …)로 구독해 React 상태에 밀어 넣는다. 무거운 오디오·AI는 Rust가 백그라운드로 돌리고, 결과만 이벤트로 흘려보내 UI가 멈추지 않게 하는 구조다. 공유 상태는 Arc<RwLock<T>>, 단순 플래그는 Arc<AtomicBool>로 관리한다.

핵심 설계 ⑤ — 로컬 LLM은 '사이드카 프로세스'로

요약용 로컬 모델(GGUF)은 메인 앱이 직접 로드하지 않고, llama-helper라는 별도 실행 파일을 띄워 JSON을 stdin/stdout으로 주고받는다. 모델 로딩이 무겁거나 크래시가 나도 본체는 안전하다. 프로토콜은 단순하다 — 요청은 Generate/Ping/Shutdown, 응답은 Response/Pong/Goodbye/Error. 사이드카 바이너리는 opt-level="s"+LTO로 작게 빌드해 기동을 빠르게 했다.

5디렉토리 구조 해부

어디에 무엇이 있나 — 실제 트리 기준.

핵심은 실제 로직의 90%가 frontend/src-tauri/src에 있다는 점이다. 이름은 "frontend"지만, 그 안의 src-tauri가 바로 Rust 백엔드 코어다. Tauri 앱의 전형적 구조로, "프런트 폴더 안에 네이티브 코어가 동거"한다.

audio/에 파일이 왜 이렇게 많나

원래 1028줄짜리 core.rs 한 파일이던 오디오 시스템을, 기능별 모듈로 리팩터링한 결과다(core-old.rs가 흔적으로 남아 있다). 덕분에 "장치 탐지 문제 → devices/discovery.rs", "믹싱 문제 → pipeline.rs"처럼 고장 지점을 파일 이름만 보고 찾을 수 있다. 거대한 파일을 어떻게 유지보수 가능하게 쪼개는지의 실례다.

6학습 포인트 (기술별)

이 레포로 무엇을, 어떻게 배울 수 있나.

① Rust 실시간 오디오 프로그래밍

cpal로 마이크·시스템 스트림을 열고, 서로 다른 속도의 스트림을 링버퍼로 동기화하는 법을 배운다. Arc<RwLock<T>>로 async 태스크 간 상태를 공유하고, Arc<AtomicBool>로 녹음 on/off 플래그를 원자적으로 다룬다. 핫패스 로깅은 perf_debug! 매크로로 릴리스 빌드에서 0비용이 되게 컴파일 분기하는 기법도 볼 수 있다.

② 크로스플랫폼 시스템 오디오 캡처

"상대방 목소리(시스템 사운드)"를 잡는 건 OS마다 완전히 다르다. meetily는 devices/platform/ 아래에서 macOS=ScreenCaptureKit(cidre)·Windows=WASAPI 루프백·Linux=ALSA/PulseAudio를 각각 구현하고, 공통 인터페이스로 노출한다. 플랫폼 분기를 어떻게 캡슐화하는지 배우기 좋다.

③ 온디바이스 음성인식 파이프라인

Whisper.cpp(whisper-rs)와 Parakeet(ONNX ort)를 GPU 자동 감지로 로드하고, VAD로 전처리해 실시간 전사하는 전 과정을 볼 수 있다. 모델은 한 번 로드해 캐시하고, parallel_processor.rs로 배치 작업을 병렬화한다. "정확도 vs 속도"를 모델 크기(base/small/medium/large-v3)로 조절하는 실전 감각도 익힌다.

④ 멀티프로바이더 LLM 통합

로컬(Ollama·llama.cpp)과 클라우드(Claude·Groq·OpenRouter·OpenAI)를 하나의 요약 서비스로 묶는 법을 배운다. OpenAI 호환 포맷으로 통일하고 예외(Claude)만 어댑터로 처리, CancellationToken으로 진행 중 요약을 취소, whatlang으로 회의 언어를 감지해 요약 언어를 자동 결정하는 등 방어적 설계가 가득하다.

⑤ 프로세스 사이드카 아키텍처

llama-helper는 "무거운 작업을 별도 프로세스로 격리"하는 사이드카 패턴의 교과서적 예다. JSON-over-stdio 프로토콜을 직접 설계·구현해 보는 실습으로 이어진다.

⑥ Tauri 데스크톱 앱 풀사이클

커맨드/이벤트 IPC, 트레이 아이콘, 자동 업데이터, 단일 인스턴스 가드, 플러그인(fs·store·notification) 사용, 그리고 Next.js 정적 export를 네이티브 셸이 서빙하는 배포 구조까지 — 웹 기술로 진짜 데스크톱 앱을 만드는 전체 흐름을 익힌다.

7하드웨어/시스템 요구사항

돌리려면 무엇이 필요한가.

8직접 해볼 수 있는 실습 과제

난이도별로. 손으로 만져야 진짜 배운다.

9관련 기술 심화 학습 로드맵

이 레포를 축으로 4주 커리큘럼.

10핵심 키워드 사전

문서에 나온 용어를 한 번에.

11참고 링크

더 파고들 곳.