Sail 딥다이브
— JVM 없는 Rust 분산 컴퓨트, PySpark 코드 그대로 4× 빠르게

Spark Connect 프로토콜 호환 — "플러그만 교체"

Spark Connect는 Spark 3.4부터 도입된 클라이언트-서버 분리 아키텍처다. PySpark 클라이언트가 gRPC로 계획(Plan)을 서버에 보내면 서버가 실행한다. Sail은 이 서버 역할을 Rust로 구현했다. PySpark는 자신이 Sail과 대화하는지 모른다 — 프로토콜만 맞으면 된다.

벡터화 실행 (Vectorized Execution) — SIMD로 묶음 처리

전통적인 Spark(JVM)는 행(Row) 단위로 처리하고 Java 객체 오버헤드가 크다. Sail은 Apache Arrow의 컬럼 기반 배열로 데이터를 들고, DataFusion이 SIMD(CPU의 단일 명령 다중 데이터) 명령어로 묶음 연산한다. 예를 들어 100만 행의 `age + 1` 연산을 CPU가 한 번에 32개씩 처리할 수 있다.

제로 복사 Python UDF — Arrow 포인터 공유

Spark에서 Python UDF는 Pickle 직렬화로 JVM ↔ Python 프로세스 간 데이터를 복사했다. Sail은 Arrow 배열 포인터를 Rust와 Python이 직접 공유한다. 데이터를 복사하지 않고 메모리 주소만 전달하므로 Python UDF 오버헤드가 드라마틱하게 낮다.

단일 노드 ↔ 클러스터 투명한 전환

로컬에서 sail spark server를 실행하면 단일 프로세스 모드로 DataFusion이 직접 실행한다. Kubernetes에 배포하면 드라이버 Pod가 동적으로 워커 Pod를 생성하고 Arrow Flight로 데이터를 셔플한다. 코드는 같고 SAIL_MODE=kubernetes-cluster 환경변수 하나로 모드가 바뀐다.

37개 크레이트로 이루어진 Rust 워크스페이스 아키텍처

Cargo 워크스페이스의 의존성 설계를 실전에서 배울 수 있다. 공통 의존성 버전을 Cargo.toml 최상단에서 관리하고, 각 크레이트가 { workspace = true }로 참조하는 패턴이다. Clippy 규칙도 워크스페이스 단위로 강제(unwrap_used = "deny", panic = "deny")한다.

볼 파일: 루트 Cargo.toml의 [workspace.dependencies], [workspace.lints.clippy]

컬럼 기반 데이터 처리의 핵심 두 라이브러리

Apache Arrow는 "메모리 안에서 데이터를 어떻게 표현하는가"의 표준이다. 행 단위 대신 컬럼 단위로 저장해 CPU 캐시 효율을 극적으로 높인다. DataFusion은 Arrow 위에서 SQL 쿼리를 실행하는 Rust 쿼리 엔진이다. Sail은 DataFusion을 실행 계획의 최종 실행자로 사용한다.

볼 파일: crates/sail-common-datafusion/, DataFusion 관련 크레이트 사용 패턴

Spark Connect 프로토콜 구현으로 배우는 gRPC

Spark Connect는 클라이언트-서버가 gRPC(HTTP/2)로 통신하며, 계획(Plan)·표현식(Expression)·데이터 타입 등을 Protobuf로 직렬화한다. sail-spark-connect/proto/에 .proto 파일이 있고, build.rs가 빌드 시 Rust 코드를 생성한다. Tonic으로 gRPC 서버를 구현하는 전체 흐름을 볼 수 있다.

볼 파일: crates/sail-spark-connect/proto/, crates/sail-spark-connect/src/server.rs

chumsky로 SQL 파서 직접 만들기

파서 콤비네이터(parser combinator)는 작은 파서 함수들을 조합해 복잡한 문법을 파싱하는 기법이다. Sail은 chumsky 라이브러리로 Spark SQL 방언(HiveQL·스파크 함수·LATERAL VIEW 등)을 파싱한다. 보통 Yacc/Flex 같은 파서 생성기 대신 Rust 코드로 문법을 표현하는 현대적 접근이다.

볼 파일: crates/sail-sql-parser/src/

Maturin + PyO3: Rust를 pip 패키지로 배포하기

PyO3는 Rust 코드를 Python 모듈(.pyd/.so)로 컴파일하는 라이브러리다. Maturin은 이 과정을 pip 패키지 빌드·배포까지 자동화해준다. pysail이 pip install pysail로 설치되는 과정 전체가 이 두 도구의 조합이다. AI/데이터 도구(polars, pydantic 등)의 표준 배포 방식이다.

볼 파일: pyproject.toml의 build-system, crates/sail-python/src/lib.rs

SQL이 실행되기까지: 파싱 → 논리 계획 → 물리 계획 → 실행

SQL 엔진 내부의 4단계를 Sail 크레이트 구조와 대응하며 배울 수 있다. ① SQL 문자열 → AST (sail-sql-parser), ② AST → 논리 계획 (sail-logical-plan), ③ 논리 최적화 (sail-logical-optimizer: 조건 푸시다운·컬럼 가지치기), ④ 물리 계획 (sail-physical-plan: 셔플 방식·조인 알고리즘 결정) → DataFusion 실행. 데이터베이스 내부 원리를 실제 코드로 볼 수 있는 드문 기회.

Sail 서버 띄우고 PySpark로 쿼리 실행 난이도 ★☆☆ 입문

pip으로 설치하고 Sail 서버를 기동한 뒤, 기존 PySpark 코드로 연결한다. SELECT 1 + 1부터 spark.range(1000000).filter(...).groupBy(...).count()까지 실행해보며 응답 속도를 체감한다.

# 설치
pip install pysail "pyspark-client"

# 서버 기동
sail spark server --port 50051

# 다른 터미널에서 PySpark로 연결
from pyspark.sql import SparkSession
spark = SparkSession.builder.remote("sc://localhost:50051").getOrCreate()
spark.sql("SELECT 1 + 1").show()
df = spark.range(1_000_000)
df.filter("id % 2 == 0").groupBy().count().show()

Python API로 Sail 서버 내장 기동 난이도 ★★☆ 중급

CLI 대신 Python 코드 안에서 Sail 서버를 기동하고 종료하는 패턴을 익힌다. 테스트 코드나 Jupyter Notebook에서 Sail을 프로그래밍적으로 제어하는 방식이다.

from pysail.spark import SparkConnectServer
from pyspark.sql import SparkSession

# 서버를 백그라운드로 기동
server = SparkConnectServer(port=50051)
server.start(background=True)

spark = SparkSession.builder.remote("sc://localhost:50051").getOrCreate()

# Parquet 파일 읽고 SQL 쿼리
df = spark.read.parquet("/path/to/data.parquet")
df.createOrReplaceTempView("my_table")
spark.sql("SELECT COUNT(*), AVG(value) FROM my_table GROUP BY category").show()

server.stop()

기존 PySpark 코드 호환성 체크 실행 난이도 ★★☆ 중급

이미 PySpark 코드베이스가 있다면 호환성 체크 스크립트로 어떤 함수가 지원되는지 스캔한다. 지원 안 되는 함수를 파악하고 대안을 찾거나, Sail 이슈 트래커에 기여 가능성을 검토한다.

# 기존 PySpark 코드 디렉토리를 스캔
python -m pysail.examples.spark.compatibility_check ./my_spark_project

# 결과 예시:
# [OK]     pyspark.sql.functions.col
# [OK]     pyspark.sql.functions.sum
# [WARN]   pyspark.sql.functions.some_experimental_func → 미구현
# 주의: SQL 문자열 내 함수는 감지 안 됨 → 실제 실행 테스트 필수

Docker Compose로 로컬 MinIO 연동 난이도 ★★★ 고급

Docker Compose의 storage 프로파일로 MinIO(로컬 S3 호환 스토리지)를 기동하고, Sail에서 S3 프로토콜로 Parquet 파일을 읽고 쓰는 실습이다. 로컬에서 클라우드 스토리지 연동을 시뮬레이션하는 방법을 익힌다.

# MinIO 기동
docker compose --profile storage up minio -d

# MinIO 콘솔: http://localhost:19001 (sail/password)
# Python에서 S3 스타일로 Parquet 읽기
spark = SparkSession.builder.remote("sc://localhost:50051") \
    .config("spark.hadoop.fs.s3a.endpoint", "http://localhost:19000") \
    .config("spark.hadoop.fs.s3a.access.key", "sail") \
    .config("spark.hadoop.fs.s3a.secret.key", "password") \
    .getOrCreate()
df = spark.read.parquet("s3a://my-bucket/data/")
df.show()

kind로 로컬 Kubernetes 클러스터 배포 난이도 ★★★★ 도전

kind(로컬 K8s)로 Sail을 클러스터 모드로 배포하고, 워커 Pod가 동적으로 생성되는 과정을 kubectl로 관찰한다. 단일 노드와 클러스터 모드의 실행 방식 차이를 직접 확인한다.

# kind 클러스터 생성
kind create cluster --config k8s/kind-config.yaml

# Sail 이미지 빌드 후 배포
docker build -t sail:latest .
kind load docker-image sail:latest
kubectl apply -f k8s/sail.yaml
kubectl -n sail port-forward service/sail-spark-server 50051:50051

# 쿼리 실행 중 워커 Pod 확인
kubectl -n sail get pods -w