gary4juce 딥다이브
— AI 음악 생성기를 DAW 안으로 끌어들인 오디오 플러그인

1프로젝트 한줄 요약

이 레포가 무엇을 하는 물건인가.

gary4juce는 DAW(디지털 오디오 워크스테이션) 플러그인이다. 즉 Ableton Live·FL Studio·Reaper 같은 음악 제작 프로그램에 꽂아 쓰는 부품이다. 이 플러그인 하나 안에 7개의 최신 AI 음악 모델이 탭으로 들어 있어, 사용자는 세션에서 오디오를 녹음하고 → AI에게 이어 만들기/변형을 시키고 → 결과를 타임라인에 드래그해 곡으로 엮는다.

중요한 설계 결정: 무거운 AI 계산은 플러그인이 직접 하지 않는다. 모델 추론은 외부 백엔드(개발자가 운영하는 무료 원격 서버, 또는 사용자가 자기 GPU에 띄우는 localhost 서비스)가 맡고, 플러그인은 오디오를 보내고 결과를 받아 재생·드래그하는 클라이언트 역할만 한다. 덕분에 플러그인 자체는 가볍고, GPU가 없어도 원격 백엔드로 바로 써볼 수 있다.

2왜 주목받는가

트렌딩 이유 · 경쟁 도구 대비 장점.

화제의 핵심은 "웹 AI 음악툴과 정반대 포지션"이다. 대부분의 AI 음악 서비스는 브라우저에서 완성곡을 뽑아주는 데 그치지만, gary4juce는 음악가가 이미 만들고 있는 작업물에 AI가 끼어들게 한다. 게다가 7개의 SOTA(최신) 모델을 한 UI에 통합한 것은 2026년 기준 사실상 최대 규모다.

각 모델에는 사람 이름 코드네임이 붙어 있어 외우기 쉽다 — gary(MusicGen, 오디오 이어붙이기), jerry(stable-audio-open-small, 빠른 짧은 루프), sa3(Stable Audio 3, v4의 메인 신기능: 최대 300초 생성·변형·LoRA 블렌딩), carey(ACE-Step, 50개 언어 보컬·stem 추출), terry(MelodyFlow, 스타일 변환), darius(Magenta RT, 48kHz 고품질 이어붙이기), rc-jerry(Foundation-1, BPM·키 인식 루프). 그리고 코드 곳곳에 실전 견고함의 흔적(stall 감지, cold-start 처리, 에디터 파괴/재생성 생존)이 있어 단순 토이가 아님이 드러난다.

3기술 스택 전체 지도

플러그인(클라이언트) · 네트워킹 · AI 백엔드.

구조는 명확히 둘로 갈린다 — 이 저장소에 담긴 C++ 플러그인(클라이언트)과, 별도 저장소에 있는 Python AI 백엔드(서버). 플러그인은 별도 네트워킹 라이브러리 없이 순수 JUCE만으로 HTTP 통신을 한다.

4아키텍처 심화 분석

내 연주가 AI를 거쳐 타임라인으로 돌아오기까지.

먼저 독수리 시점. 플러그인 내부는 크게 둘로 나뉜다 — 오디오를 실시간으로 다루는 Gary4juceAudioProcessor(프로세서)와, UI + 모든 네트워킹을 맡는 Gary4juceAudioProcessorEditor(에디터). 그 바깥에 HTTP로 연결된 AI 백엔드가 있다.

이제 대표 흐름 한 줄기를 따라가자 — "녹음한 오디오로 AI에게 이어 만들기를 시킨다". 폴링(주기적으로 물어보기) 기반의 긴 작업 패턴이 핵심이다.

여기서 가장 배울 점은 오디오 스레드를 절대 멈추지 않는 설계다. 실시간 오디오 콜백(processBlock)에서 락(잠금)을 걸고 기다리면 소리가 끊긴다(글리치). 그래서 이 코드는 "논블로킹 시도 + 폴백 버퍼" 패턴을 쓴다 — 락을 시도만 하고, 못 잡으면 입력을 짧은 임시 버퍼에 잠깐 담아뒀다 다음 블록에서 합류시킨다.

# PluginProcessor.cpp — 오디오 스레드는 절대 블로킹하지 않는다
if (bufferLock.tryEnter()) {              // 잠금을 '시도만'
    flushDeferredRecordingBlocks(...);    // 임시버퍼에 쌓인 것 합류
    copyInputBlockToRecordingBuffer(...); // 정상 녹음
    bufferLock.exit();
} else {
    appendDeferredRecordingBlock(...);    // 락 실패 → 임시버퍼로 (안 멈춤)
}

또 하나의 백미는 비동기 콜백 안전장치 3종 세트다. 네트워크 응답이 늦게 도착했을 때 UI가 이미 닫혔거나 사용자가 탭을 바꿨을 수 있다. 이를 위해 ① SafePointer(에디터가 파괴됐는지 검사), ② weak_ptr<atomic<bool>>(살아있는지 플래그), ③ 단조 증가 토큰(GenerationAsyncToken — 옛 작업의 늦은 응답을 무시)을 함께 쓴다. "늦게 온 답이 엉뚱한 곳에 꽂히는" use-after-free·stale response 사고를 막는 정석이다.

이 프로젝트 특유의 관례: 모든 오디오 교환을 파일로 한다(~/Documents/gary4juce/). 녹음은 myBuffer.wav, 결과는 myOutput.wav로 저장하고, 백엔드 출력 샘플레이트가 호스트와 다르면 LagrangeInterpolator로 리샘플해 맞춘다. 타임라인 드래그도 임시 파일을 만들어 OS 네이티브 드래그로 DAW에 넘긴다.

5디렉토리 구조 해부

어디부터 열어봐야 하나.

핵심은 Source/ 안에 있다. 거대한 에디터 클래스를 기능별 .cpp로 쪼개 두었고(같은 클래스, 여러 파일), 모델별 UI는 별도 컴포넌트로 떼어냈다. 처음엔 PluginProcessor(오디오)와 PluginEditor(UI·네트워킹) 두 축만 잡으면 된다.

6학습 포인트 (기술별)

이 레포에서 배울 만한 것 + 어느 파일을 펴면 되는지.

예컨대 SA3 생성 요청은 이런 JSON으로 나간다 — 프롬프트에 BPM·키를 자동으로 붙이고, 켜진 LoRA만 배열로 싣는다:

// PluginEditor.Jerry.cpp — SA3 /generate 요청 본문(요약)
prompt   = userPrompt + ", 120 bpm"   // BPM/키 자동 첨부
steps    = 8                          // 추론 스텝(품질↔속도)
cfg_scale= 1.0                        // 프롬프트 충실도
seed     = -1                         // -1=랜덤, 응답에 쓰인 seed 반환(재현용)
loras    = [{ name, strength(0~2) }]  // 강도 0 초과만 실음

7하드웨어 / 시스템 요구사항

플러그인은 가볍고, 백엔드(GPU)는 무겁다.

플러그인 자체는 매우 가볍다 — VST3/AU를 지원하는 DAW와 인터넷(원격 백엔드 사용 시)이면 충분하다. 무게는 전부 AI 백엔드 쪽에 있고, 그건 원격(무료)으로 우회할 수 있다.

8직접 해볼 수 있는 실습 과제

읽기만 하지 말고 손에 익히는 단계.

9관련 기술 심화 학습 로드맵

한 주씩 따라가는 6주 계획.

10핵심 키워드 사전

본문에 나온 용어 빠른 참조.

11참고 링크

• GitHub 저장소: betweentwomidnights/gary4juce (AGPL-3.0)
• 판매/데모: Gumroad · YouTube · Discord
• 동반 백엔드: gary-localhost-installer(Win) · ace-lego(Carey)
• 프레임워크: JUCE 8.0.8
• AI 모델: MusicGen/Audiocraft · stable-audio-open · ACE-Step · Magenta RT