UniverSat 딥다이브
— 위성 사진을 센서·해상도 가리지 않고 한 모델로 읽는 AI

1프로젝트 한줄 요약

이 레포가 무엇을 하는 물건인가.

UniverSat의 정식 소개는 "Resolution- and Modality-Agnostic Transformers for Earth Observation" — 우리말로 풀면 "해상도와 센서 종류를 가리지 않는, 지구관측용 트랜스포머"다. 광학(일반 카메라 사진)·레이더(SAR)·초분광(수백 개 색 밴드)·고도(높낮이 지도)를 단 하나의 가중치 세트로 처리하고, 결과물의 공간 해상도(촘촘함)를 실행하는 순간에 자유롭게 지정할 수 있다.

이게 풀려는 문제는 분명하다. 지구관측 데이터는 ① 센서 종류가 다양하고, ② 한 픽셀이 담는 실제 거리(해상도)가 cm부터 수백 m까지 천차만별이고, ③ 색 밴드가 1개부터 396개까지 제각각이며, ④ 같은 곳을 1번만 찍기도, 1년에 150번 찍기도 한다. 기존 모델은 이런 다양성을 못 받아들여 센서마다 새 모델을 만들어야 했다. UniverSat은 그 벽을 허문다.

2왜 주목받는가

트렌딩 이유 · 경쟁 모델 대비 장점.

한마디로 "위성 AI의 만능 백본"을 표방하기 때문이다. 보통의 ViT(비전 트랜스포머)는 입력이 고정(정해진 색 채널 수, 정해진 크기·해상도)인데, 지구관측 데이터는 정반대다. UniverSat은 임의 형태의 패치를 공통 임베딩으로 사상하는 Universal Patch Encoder(UPE) 하나로 이 다양성을 흡수한다. 그 결과 네 가지가 한꺼번에 가능해진다.

특히 인상적인 두 가지: 첫째, 사전학습에 전혀 쓰지 않은 초분광 센서(EnMAP)에 대해서도, 그 센서로 학습한 전용 모델(DOFA-L)을 모든 과제에서 앞섰다 — "처음 보는 데이터에 강하다"는 일반화의 증거다. 둘째, 백본을 freeze하고 위에 고작 9,000개 파라미터짜리 선형 분류기만 얹어도, 3천만~5천만 파라미터 디코더를 쓴 경쟁작과 맞먹거나 이긴다. "거대한 헤드 없이도 표현이 좋다"는 뜻이라 실무·연구 양쪽에서 화제가 됐다.

3기술 스택 전체 지도

추론 경로 · 학습 경로 · 데이터 I/O 한눈에.

이 저장소의 영리한 설계 하나: 추론(쓰기)과 학습(만들기)의 의존성을 분리했다. 모델을 불러와 쓰는 데는 사실상 torch 하나면 되고, 무거운 학습 도구(Hydra·Lightning 등)는 학습할 때만 등장한다. 그래서 "그냥 feature만 뽑아 쓰고 싶은" 사람과 "처음부터 학습하려는" 사람의 길이 갈린다.

4아키텍처 심화 분석

위성 패치 한 장이 들어오면 어디서 어디로 흐르는가.

먼저 독수리 시점. UniverSat의 forward(순전파)는 딱 두 단계다 — ① UPE(Universal Patch Encoder)가 제각각인 입력을 공통 토큰으로 만들고, ② Trunk(ViT 본체)가 그 토큰들을 섞어 최종 dense feature를 낸다. 핵심 파일은 src/models/networks/encoder/UniverSat.py와 UniversalPatchEncoder.py다.

이제 대표 흐름 한 줄기를 따라가자 — "광학+레이더+고도를 섞어 넣어 feature를 뽑는다". 코드 한 줄로 보면 이렇다:

# demo.ipynb / hubconf.py — 여러 센서를 dict로 섞어 한 번에 인코딩
model = UniverSat.from_pretrained("g-astruc/UniverSat").eval()
features, _ = model.encode(data, patch_size=40, output_grid=36)
# data = {"s2": ..., "s1": ..., "dsm": ...}  → features: (B, 36*36, 768)

여기서 가장 중요한 부분은 UPE가 "축을 하나씩 무너뜨리며" 토큰을 만드는 방식이다. 입력은 채널 × 시간 × 세로 × 가로의 4차원인데, 이걸 한꺼번에 어텐션하면 계산량이 폭발한다(O(N²)). 그래서 Axial Cross-Attention(ACA)으로 한 번에 한 축만 어텐션해 차례차례 압축한다 — 픽셀 축 → 채널 축 → 시간 축 → 패치 축 순서로.

# 레지스트리에 없는 센서도 메타데이터만 주면 인코딩 (demo.ipynb 패턴)
features, _ = model.encode(
    {"my_cam": tensor},
    wavelengths={"my_cam": [0.49, 0.56, 0.66, 0.83]},  # 밴드별 파장(µm)
    input_res={"my_cam": 3.0},   # 한 픽셀이 담는 거리(m)
    output_grid=36)