KittenTTS 딥다이브
— GPU 없이 CPU에서 도는 25MB급 초경량 ONNX TTS

1프로젝트 한줄 요약

이 저장소가 대체 무엇인가.

README의 자기소개는 "an open-source, lightweight text-to-speech library built on ONNX" — "ONNX 위에 지어진 오픈소스 경량 TTS 라이브러리"다. GitHub 저장소 설명은 더 직설적으로 "State-of-the-art TTS model under 25MB"라고 못박는다. 2026년 2월 v0.8 릴리스로 15M/40M/80M 세 가지 크기의 모델이 한꺼번에 공개됐고, int8 양자화 버전은 25MB까지 더 줄어든다.

단, README 최상단에 "Developer preview -- APIs may change between releases"라고 명시되어 있다. 아직 API가 안정화되지 않은 초기 단계 프로젝트이며, README도 "일부 사용자가 int8 nano 모델에서 문제를 겪고 있다"는 점을 숨기지 않고 공개해 둔다. 상업 지원(Stellon Labs)이 별도로 제공되는 것도 특징이다.

2왜 주목받는가

트렌딩 이유 · 대형 GPU TTS·클라우드 TTS API 대비 장점.

2026년 상반기 TTS 생태계는 두 축으로 갈려 있다. 한쪽은 ElevenLabs·OpenAI TTS처럼 클라우드 API로 초고품질 음성을 파는 서비스, 다른 한쪽은 Coqui-TTS·VITS·StyleTTS2 계열처럼 연구용으로 공개됐지만 GPU 없인 실전 배포가 부담스러운 오픈소스 모델이다. KittenTTS는 이 둘 사이의 빈틈 — "오프라인·엣지·저비용으로 돌리고 싶은데 품질도 어느 정도는 필요한" 자리를 정확히 겨냥해서 14.3천 개의 스타를 모았다.

기존 방식과 무엇이 다른가

3기술 스택 전체 지도

Python 패키지 하나 + ONNX 추론 엔진 + 음소화 스택 + HuggingFace Hub 배포.

KittenTTS는 "백엔드/프론트엔드가 나뉜 웹서비스"가 아니라 pip로 설치하는 Python 라이브러리 하나다. 그래서 스택을 "추론 엔진 / 전처리 스택 / 모델 배포 인프라" 세 층으로 나눠 보는 게 더 정확하다.

4아키텍처 심화 분석

텍스트 한 줄이 24kHz 파형이 되기까지 — 6단계 파이프라인.

kittentts/onnx_model.py의 KittenTTS_1_Onnx 클래스를 직접 열어보면, README의 "간단한 API 3줄" 뒤에 상당히 구체적인 파이프라인이 숨어 있다. 핵심은 "신경망이 하는 일은 최소화하고, 규칙 기반 전처리로 최대한 다듬어서 넘긴다"는 설계 철학이다.

① 텍스트 정규화 — 신경망에 "읽기 쉬운 글"만 넘긴다

model.generate(text, clean_text=True)를 켜면 TextPreprocessor가 먼저 돈다. 이 클래스는 25개 넘는 on/off 가능한 규칙(정수 확장, 통화 기호, 퍼센트, 시간, 서수, 로마 숫자, IP 주소, 전화번호, URL, 이메일, 약어 등)을 순서를 지켜 적용한다. 예를 들어 IP 주소(192.168.0.1)는 소수점 확장 규칙보다 먼저 처리해야 "192점168점0점1"처럼 잘못 읽히지 않는다 — 이런 규칙 간 순서 의존성을 주석으로 명시해 둔 게 실전 텍스트 정규화 코드의 특징이다.

# kittentts/preprocess.py — TextPreprocessor.process() 순서 일부
if cfg["expand_ip_addresses"]:      # IP는 소수점 확장보다 먼저
    text = expand_ip_addresses(text)
if cfg["normalize_leading_decimals"]:  # ".5" → "0.5"로 먼저 정리
    text = normalize_leading_decimals(text)
if cfg["expand_currency"]:          # "$12.50" → "twelve dollars and fifty cents"
    text = expand_currency(text)
if cfg["expand_scientific_notation"]:  # "1e-4"가 모델명 확장에 오염되기 전에 처리
    text = expand_scientific_notation(text)

별도 공개 함수인 normalize_text(text, return_spans=True)는 이보다 더 "문서 교정"에 특화되어 있다 — "Dr. Rivera"의 Dr.을 "Doctor"로, "Fig. 2"를 "Figure two"로 바꾸는 식이다. return_spans=True를 주면 원문 글자 위치 → 정규화된 글자 위치를 매핑하는 NormalizedSpan 리스트까지 돌려준다.

② 문장 청킹 — "Dr."을 문장 끝으로 착각하지 않기

chunk_text(text, max_len=400)는 텍스트를 400자 단위로 잘라 모델에 넘긴다(한 번에 너무 긴 시퀀스를 넣으면 품질이 떨어지거나 메모리 부담이 커지기 때문). 그런데 단순히 마침표(.)로만 자르면 "Dr. Rivera", "3:05 p.m.", "et al." 같은 표현이 매번 문장이 끝난 것으로 오인된다. _is_sentence_boundary()는 약어 사전(_NON_BOUNDARY_ABBREVIATIONS)과 앞뒤 문맥(숫자 사이의 소수점, "a.m./p.m." 패턴)을 함께 검사해 진짜 문장 경계만 골라낸다.

③ 음소화 — 글자가 아니라 "소리"로 신경망에 입력한다

self.phonemizer = phonemizer.backend.EspeakBackend(language="en-us", preserve_punctuation=True, with_stress=True) — 이 한 줄이 KittenTTS가 "문자 그대로"가 아니라 발음 기호(IPA, International Phonetic Alphabet)를 신경망 입력으로 쓴다는 걸 보여준다. with_stress=True는 강세 표시(ˈ, ˌ)까지 살리고, preserve_punctuation=True는 쉼표·마침표 같은 문장부호를 운율(억양이 오르내리는 지점) 신호로 남긴다.

④ 토큰화 — 손으로 짠 IPA 심볼 사전

TextCleaner 클래스는 학습된 토크나이저(BPE 등)가 아니라, 패딩 기호($) + 문장부호 + 영어 알파벳 + IPA 발음 기호 전체를 나열한 고정 심볼 테이블이다. 각 문자에 정수 인덱스를 매겨, 음소화된 문자열을 "정수 ID 시퀀스"로 바꾼다. 이 방식은 VITS·StyleTTS2 같은 음소 기반 TTS 모델들이 공통으로 쓰는 "고정 음소 사전" 패턴이다.

// kittentts/onnx_model.py — TextCleaner 심볼 테이블 구성 (일부)
_pad = "$"
_punctuation = ";:,.!?¡¿—…\"«»"" "
_letters = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz"
_letters_ipa = "ɑɐɒæɓʙβɔɕçɗɖðʤə..."  // IPA 발음기호 전체

symbols = [_pad] + list(_punctuation) + list(_letters) + list(_letters_ipa)
// 문자 하나 = 정수 인덱스 하나. 총 심볼 수가 모델의 "어휘 크기(vocab size)"가 된다

마지막으로 토큰 시퀀스 맨 앞뒤에 [0, ..., 10, 0]을 붙인다 — 0은 시작/끝 패딩, 10(마침표에 해당하는 인덱스)은 문장 종결을 신경망에 명시적으로 알리는 역할로 추정된다.

⑤ ONNX 모델 추론 — 3개 입력, 1개 출력

_prepare_inputs()가 만드는 최종 입력은 정확히 세 가지다.

출력은 24kHz 오디오 파형 하나이며, 코드는 outputs[0][..., :-5000]로 맨 끝 5000 샘플(약 0.2초)을 잘라낸다 — 학습 시 모델이 문장 끝에 약간의 무음/잡음 꼬리를 생성하는 경향을 사후 보정하는 실전적인 트림(trim)이다. README나 공식 문서 어디에도 설명되지 않은, 소스코드를 직접 읽어야만 알 수 있는 디테일이다.

⑥ 8가지 보이스는 어떻게 만들어지나 — "보이스 임베딩"

self.voices = np.load(voices_path)로 불러오는 voices.npz는 보이스 이름을 키로 하는 numpy 배열 모음이다. 실제 내부 보이스 이름은 expr-voice-2-f, expr-voice-3-m 같은 4단계 × 남녀 2종 = 8개 코드이고, 사용자가 쓰는 "Bella", "Jasper" 같은 친숙한 이름은 HuggingFace의 config.json에 담긴 voice_aliases 딕셔너리로 매핑된다.

// HuggingFace config.json (kitten-tts-mini-0.8) 실제 내용
"voice_aliases": {
  "Bella": "expr-voice-2-f",   "Jasper": "expr-voice-2-m",
  "Luna":  "expr-voice-3-f",   "Bruno":  "expr-voice-3-m",
  "Rosie": "expr-voice-4-f",   "Hugo":   "expr-voice-4-m",
  "Kiki":  "expr-voice-5-f",   "Leo":    "expr-voice-5-m"
}

더 흥미로운 지점은 ref_id = min(len(text), self.voices[voice].shape[0] - 1)다. 각 보이스는 단일 벡터가 아니라 여러 행(row)을 가진 배열이고, 입력 텍스트의 길이로 어느 행을 쓸지 인덱싱한다. 즉 짧은 문장과 긴 문장에서 조금씩 다른 스타일 벡터가 선택될 수 있다는 뜻이다 — 문장 길이에 따라 운율이 달라지는 것을 감안한 설계로 추정된다.

모델 크기 3종 + int8 — 무엇이 트레이드오프인가

주목할 점: nano(fp32)가 56MB인데 int8 버전은 25MB로 절반 이하로 줄어든다. 파라미터 수는 똑같이 15M인데 용량만 확 줄어드는 이유가 바로 양자화(quantization)다.

"스트리밍"의 진짜 의미 — 실시간 토큰 생성이 아니라 청크 파이프라이닝

example_streaming.py와 generate_stream()을 읽어보면, KittenTTS의 스트리밍은 모델이 오디오를 실시간으로 한 샘플씩 뱉어내는 스트리밍(예: LLM의 토큰 스트리밍)이 아니다. 실제로는 chunk_text()로 잘라둔 문장 단위 청크를 순서대로 하나씩 ONNX 세션에 통과시키고, 청크가 끝날 때마다 그 결과를 곧바로 반환(yield)하는 구조다.

// kittentts/onnx_model.py
def generate_stream(self, text, voice="expr-voice-5-m", speed=1.0, clean_text=True):
    if clean_text:
        text = self.preprocessor(text)
    for text_chunk in chunk_text(text):
        yield self.generate_single_chunk(text_chunk, voice, speed)  // 청크 하나 끝날 때마다 즉시 반환

이렇게 설계하면 사용자는 전체 문단이 다 합성되기를 기다리지 않고, 첫 문장이 끝나는 즉시 재생을 시작할 수 있다 — 실시간 대화형 에이전트처럼 "체감 지연(latency)"이 중요한 응용에 실질적인 이득이다. 다만 오디오 품질 관점에서는 한 청크가 다른 청크의 문맥을 전혀 참고하지 못한다는 제약이 있다.

5디렉토리 구조 해부

단일 패키지 + 예시 스크립트 3종 + 최소 테스트.

6학습 포인트 (기술별)

이 저장소 하나로 배울 수 있는 것 + 실습 아이디어.

6-1. ONNX Runtime으로 "학습 없이 추론만" 해보기

ort.InferenceSession(model_path, providers=providers) 단 한 줄이 딥러닝 추론 서빙의 핵심을 보여준다 — providers 리스트에 CPUExecutionProvider/CUDAExecutionProvider/ROCMExecutionProvider 중 무엇을 넣느냐로 같은 모델 파일이 CPU·NVIDIA GPU·AMD GPU 어디서든 돌아간다. PyTorch/TensorFlow 없이도 session.run(None, {input_name: value, ...})만으로 신경망을 실행할 수 있다는 걸 직접 체험하기 좋은 코드다.

6-2. TTS 파이프라인의 각 단계를 손으로 재현해보기

phonemizer.backend.EspeakBackend(...).phonemize(["hello world"])만 따로 실행해서 IPA 출력을 직접 눈으로 확인해보면, "신경망이 실제로 받는 입력이 글자가 아니라 발음 기호"라는 걸 체감할 수 있다. 그다음 TextCleaner의 심볼 사전에 그 IPA 문자열을 통과시켜 정수 배열이 되는 과정까지 재현하면, README의 3줄 예시 뒤에 있는 "진짜 파이프라인"을 전부 손으로 밟아본 셈이 된다.

6-3. 텍스트 정규화 설계 — 규칙 순서와 return_spans

TextPreprocessor가 IP 주소를 소수점 확장보다 먼저 처리하는 것처럼, 규칙 기반 텍스트 처리는 "어떤 순서로 적용하느냐"가 결과를 좌우한다. 또한 normalize_text(text, return_spans=True)가 원문-정규화문 간 글자 위치 매핑을 돌려주는 설계는, 자막·하이라이팅처럼 "가공된 텍스트를 원본과 다시 연결해야 하는" 모든 NLP 응용에 재사용 가능한 패턴이다.

# kittentts/preprocess.py 실제 테스트 케이스 (tests/test_text_normalization.py)
normalize_text("Dr. Rivera paid $12.50 at 3:05 p.m.")
# → "Doctor Rivera paid twelve dollars and fifty cents at three oh five p m."

result = normalize_text("Fig. 2", return_spans=True)
# result.text  == "Figure two"
# result.spans == [(원본 0~4글자, "abbreviation"), (원본 5~6글자, "number")]

6-4. int8 양자화로 모델을 가볍게 만들기

KittenTTS 저장소 자체엔 양자화 코드가 없지만(이미 양자화된 .onnx를 HuggingFace에서 받아 쓸 뿐), onnxruntime.quantization 모듈로 임의의 ONNX 모델을 int8로 변환하는 실습은 누구나 해볼 수 있다. nano(fp32) 56MB → nano-int8 25MB로 줄어든 실측 수치를 목표 삼아, "양자화 전후 용량·추론 속도·출력 품질이 어떻게 달라지는지"를 직접 측정해보는 게 이 개념을 체화하는 가장 빠른 길이다.

6-5. HuggingFace Hub 모델 배포·캐싱 구조 이해하기

get_model.py의 download_from_huggingface()는 "코드 저장소(GitHub)와 모델 저장소(HuggingFace Hub)를 분리하고, config.json 하나로 어떤 파일들을 더 받아야 하는지 스스로 알아내는" 패턴을 보여준다. config["type"] not in ["ONNX1", "ONNX2"]이면 에러를 던지는 버전 체크도 실전적인 하위호환성 관리 방식이다.

6-6. 엣지 배포 관점에서 "무엇을 줄였는가" 되짚어보기

KittenTTS가 "작다"는 인상만 남기지 말고, 구체적으로 ①모델 파라미터 자체를 작게 설계 ②ONNX Runtime으로 무거운 학습 프레임워크 의존성 제거 ③int8 양자화로 가중치 용량 추가 절감 ④espeak-NG 같은 검증된 경량 음소화 엔진 재사용(직접 G2P 모델을 학습하지 않음)이라는 네 가지 결정이 합쳐진 결과라는 걸 이해하는 게 이 레포의 진짜 학습 포인트다.

7시스템 요구사항

GPU 없이 노트북 한 대로 충분 — 진짜 제약은 디스크 용량이 아니라 첫 실행 시 네트워크(HF 다운로드).

8직접 해볼 수 있는 실습 과제

난이도별 5단계.

9관련 기술 심화 학습 로드맵

이 저장소를 출발점으로, 4주 코스.

10핵심 키워드 사전

본문에 나온 용어 빠른 참조.

11참고 링크

• GitHub: KittenML/KittenTTS
• HuggingFace 모델 — mini(80M): kitten-tts-mini-0.8
• HuggingFace 모델 — micro(40M): kitten-tts-micro-0.8
• HuggingFace 모델 — nano(15M, fp32/int8): kitten-tts-nano-0.8-fp32 / kitten-tts-nano-0.8-int8
• 온라인 데모(HuggingFace Spaces): KittenTTS-Demo
• ONNX 공식 사이트: onnx.ai
• ONNX Runtime 문서: onnxruntime.ai
• phonemizer 문서(PyPI): pypi.org/project/phonemizer
• 공식 웹사이트: kittenml.com
• Discord 커뮤니티: discord.gg/VJ86W4SURW