Heretic 딥다이브
— "모델 안에서 거절 방향을 찾아 지워버리는" 자동 해석 도구

1프로젝트 한줄 요약

"모델 이름 하나만 주면, 그 모델이 왜·어떻게 요청을 거절하는지를 내부 활성값에서 찾아낸 뒤, 그 '거절 방향'만 가중치에서 자동으로 빼서 거절을 없애주는 도구"입니다. 명령은 heretic google/gemma-3-12b-it 한 줄. 그러면 GPU에서 200번쯤 자동 실험을 돌려 "거절은 거의 다 사라지면서도, 원래 모델의 똑똑함은 최대한 보존"되는 설정을 스스로 찾아냅니다.

기존에는 이 작업("abliteration")을 연구자가 손으로 파라미터를 바꿔가며 노가다했습니다. Heretic은 그걸 다목적 베이지안 최적화로 자동화한 것이 본질입니다. 결과물은 보통의 Hugging Face 모델 폴더라서 그대로 배포·재현할 수 있습니다.

2왜 주목받는가

① "손맛 노가다"를 다목적 최적화로 자동화

기존 abliteration 도구(FailSpy의 abliterator, ErisForge 등)는 사람이 "몇 번째 층의 방향을 쓸지", "얼마나 세게 뺄지"를 직접 바꿔가며 시행착오를 거쳤습니다. Heretic은 이걸 Optuna의 TPE 샘플러로 200번 자동 탐색합니다. 사람의 개입 0으로, RTX 3090에서 4B 모델 기준 20~30분이면 끝납니다.

② "거절 제거"와 "지능 보존"을 동시에 본다

핵심 차별점입니다. 거절만 없애려다 모델이 바보가 되면 의미가 없죠. Heretic은 거절 횟수(거절해야 할 프롬프트 100개)와 KL 발산(원래 모델 대비 출력 분포가 얼마나 망가졌나, 무해한 프롬프트 100개)을 두 개의 목적함수로 동시에 최소화합니다. 결과적으로 손으로 만든 모델과 거절 억제 수준은 같으면서 KL 발산은 훨씬 낮다고 주장합니다.

③ 공개된 벤치마크로 "덜 망가짐"을 증명

README의 비교표(gemma-3-12b-it 기준, 거절 100개 중 / 무해 100개의 KL 발산)는 Heretic의 강점을 수치로 보여줍니다.

같은 거절 억제(3/100)인데 KL 발산이 0.16으로 가장 낮습니다 — "덜 손상시키면서 같은 효과". 이 표는 heretic --model google/gemma-3-12b-it --evaluate-model p-e-w/gemma-3-12b-it-heretic으로 누구나 재현할 수 있게 설계됐고, 커뮤니티가 이미 4000개 넘는 Heretic 모델을 공개했습니다.

④ 넓은 아키텍처 지원

덴스(dense) 모델뿐 아니라 다양한 MoE(전문가 혼합), 멀티모달(비전-텍스트), 그리고 Qwen3.5의 GatedDeltaNet 선형 어텐션 같은 하이브리드 구조까지 다룹니다. 모델 종류마다 모듈 이름이 다른 문제를 "리프 모듈 전체 이름으로 수집"하는 방식으로 견고하게 대응합니다.

기존 방식과의 비교

3기술 스택 전체 지도

Heretic은 순수 파이썬 패키지(heretic-llm v1.4.0)이며, AI 모델 다루기의 표준 스택 위에 올라가 있습니다. 흥미롭게도 torch는 의존성에 핀으로 고정하지 않습니다 — 사용자가 자기 하드웨어(CUDA/ROCm/MPS 등)에 맞는 PyTorch를 직접 깔도록 비워둡니다.

핵심 — 모델 로딩 & 가중치 조작

최적화 & 평가

CLI / UX / 설정

연구용 선택 의존성 ([research] extra)

4아키텍처 심화 분석

전체 데이터 흐름

모델 ID 하나가 들어가서 "거절이 제거된 모델 폴더"가 나오기까지의 전 과정입니다. 가장 중요한 건 가운데의 최적화 루프 — 같은 모델에 ablation 강도를 바꿔가며 200번 채점합니다.

알고리즘 ① — 거절 방향은 "평균의 차이"다

가장 직관적이면서 강력한 부분입니다. "거절해야 할 프롬프트들"을 모델에 넣었을 때의 내부 활성값 평균(bad_means)과, "무해한 프롬프트들"의 평균(good_means)을 각 층마다 구합니다. 그 차이 벡터를 정규화한 것이 곧 "거절 방향"입니다.

# 개념 코드 (핵심만)
residuals = model.get_residuals(prompts)   # (프롬프트, 층, 차원)
good_means = residuals[harmless].mean(0)    # 층별 평균
bad_means  = residuals[harmful].mean(0)
refusal_directions = F.normalize(bad_means - good_means, p=2, dim=1)
# → 층마다 길이 1짜리 '거절 방향' 벡터 하나씩

알고리즘 ② — 방향 빼기 = 직교 투영 (ΔW = −λ·v·vᵀW)

거절 방향 v(단위 벡터)를 가중치 행렬 W의 출력에서 지우려면, W의 출력 중 v 방향 성분을 빼면 됩니다. 수식으로는 ΔW = −λ·v·(vᵀW). λ(weight)가 1이면 완전한 직교 투영(그 방향을 0으로), 작으면 약하게 깎습니다.

Heretic의 영리한 점은 이걸 가중치를 직접 고치지 않고 LoRA 어댑터로 표현한다는 것입니다: lora_B = −λ·v(열), lora_A = vᵀW(행). 그래서 트라이얼마다 lora_B만 0으로 만들면 즉시 원상복구됩니다 — 200번 실험이 빨라지는 비결입니다.

알고리즘 ③ — 층마다 강도를 다르게 (모양 있는 커널)

모든 층을 똑같이 깎지 않습니다. max_weight_position(가장 세게 깎는 층)을 정점으로, 거기서 멀어질수록 강도가 선형으로 줄어들고(min_weight까지), min_weight_distance를 넘어가는 층은 아예 건드리지 않습니다. 이 "삼각형 모양 강도 곡선"의 파라미터를 어텐션(o_proj)과 MLP(down_proj)에 따로 둡니다 — MLP 개입이 더 손상을 크게 준다는 관찰 때문입니다.

# 층 i의 ablation 강도
distance = abs(i - max_weight_position)
if distance > min_weight_distance:
    weight = 0                      # 이 층은 건너뜀
else:
    weight = max_weight + (distance / min_weight_distance) \
             * (min_weight - max_weight)   # 정점에서 선형 감소

알고리즘 ④ — 최적화: 거절 vs 지능, 두 마리 토끼

Optuna가 directions=[MINIMIZE, MINIMIZE]인 다목적 스터디를 만들고, TPESampler(multivariate=True)로 파라미터를 제안합니다. 각 트라이얼은 "리셋 → ablation → 채점"입니다. 채점(get_score)은 두 값을 돌려줍니다.

row normalization — grimjim의 "노름 보존" 근사

기본값 row_normalization="full"은 ablation 후 행 벡터의 크기(노름)를 원래대로 복원해 부작용을 줄입니다. 이때 생기는 보정 항을 torch.svd_lowrank로 저랭크(기본 rank 3) LoRA에 끼워 맞춥니다. 수치 안정성을 위해 특이값을 sqrt(S)로 lora_A/B에 절반씩 나눠 담는 디테일까지 있습니다.

5디렉토리 구조 해부

6학습 포인트

기계적 해석가능성 — "행동 = 방향"이라는 사고법

배울 것: "거절", "감정", "특정 개념" 같은 추상적 행동이 LLM의 활성 공간에서 선형 방향(linear direction)으로 표현될 수 있다는 것. difference-of-means로 그 방향을 찾고, 직교 투영으로 더하거나 빼는 기법은 해석가능성 연구의 핵심 도구입니다. Heretic은 그 살아있는 구현체입니다.

PyTorch 선형대수 — 투영·정규화·저랭크 근사

배울 것: F.normalize(L2 정규화), 외적으로 만드는 랭크-1 갱신(v·vᵀW), torch.svd_lowrank로 임의의 행렬을 저랭크로 압축하기, F.kl_div(log_target=True)로 두 분포 비교하기. "수식을 텐서 연산으로 옮기는" 훈련에 이만한 교본이 드뭅니다.

PEFT/LoRA를 "편집 도구"로 쓰는 발상

배울 것: LoRA는 보통 파인튜닝용이지만, Heretic은 이를 비파괴 가중치 편집기로 씁니다. lora_B=0이면 즉시 원복, 확정되면 merge_and_unload()로 본 가중치에 병합. "실험은 가볍게, 결과는 영구히"를 LoRA로 구현한 패턴입니다.

Optuna 다목적 최적화 — 파레토 front 다루기

배울 것: 서로 상충하는 두 목표(거절↓ vs 지능↑)를 directions=[MINIMIZE, MINIMIZE]로 동시에 다루고, 결과를 단일 최적이 아니라 파레토 front(트레이드오프 곡선)로 받아 사람이 고르게 하는 설계. JournalFileBackend로 중단·재개까지 되는 실전 최적화 루프 구성법을 배울 수 있습니다.

견고한 모델 호환 코드 — "이름이 제각각인 모듈" 다루기

배울 것: dense/MoE/멀티모달/하이브리드 모델은 모듈 명명이 다 다릅니다(o_proj vs out_proj, experts[*].down_proj vs w2 …). Heretic이 이를 "리프 모듈 전체 이름으로 수집"하고 dtype을 후보 리스트로 시도하는 방식은 "남의 모델을 범용으로 다루는" 방어적 코딩의 좋은 사례입니다.

7시스템 요구사항

8직접 해볼 수 있는 실습 과제

9관련 기술 심화 학습 로드맵

1주차 — 트랜스포머 내부와 residual stream

어텐션·MLP 블록이 residual stream에 어떻게 더해지는지, hidden_states가 무엇인지 익힙니다. 목표: transformers로 임의 모델의 층별 활성값을 뽑아 모양을 이해. Anthropic의 "Transformer Circuits" 입문 글을 함께 읽으면 좋습니다.

2주차 — 선형 표현 가설 & 해석가능성

"개념이 활성 공간의 방향으로 표현된다"는 선형 표현 가설(linear representation hypothesis)을 공부하고, Arditi et al. 2024 논문(거절 단일 방향)을 정독합니다. difference-of-means·직교 투영을 직접 손으로 구현해봅니다.

3주차 — PEFT/LoRA와 가중치 편집

LoRA의 수학(W + BA)을 이해하고, 파인튜닝이 아닌 "편집" 용도로 LoRA를 쓰는 법을 익힙니다. merge_and_unload, 저랭크 SVD 근사(torch.svd_lowrank)까지. 목표: 랭크-1 방향 제거를 직접 구현.

4주차 — Optuna 다목적 최적화 & 평가 설계

TPE 샘플러·파레토 front·스터디 영속화를 익히고, "무엇을 어떻게 측정해 목적함수로 만들 것인가"(거절 마커 매칭, KL 발산)를 설계하는 감각을 기릅니다. 목표: 내 문제를 다목적 최적화로 정식화해보기.

10핵심 키워드 사전

11참고 링크