반응형
Iceberg #TimeTravel #Spark
-
Spark + Iceberg - 4(Time Travel)Data Engineering 2024. 1. 18. 21:20
소개 아이스버그 기능인 Time Travel기능에 대해서 살펴보자. 데이터를 Create or Delete 시 Snapshot이 만들어지는데 이것을 이용해 과거 데이터로 롤백할 수 있다. Partition이 변경되는 부분은 기록이 안되는 것 같다. 간단한 기능 실습을 해보자. 실습 1. CREAT TABLE create table time_travel ( ID BIGINT, NAME STRING ) USING ICEBERG LOCATION 's3a://martinispark/timetravel' 2. INSERT INTO Data INSERT INTO time_travel VALUES (1,'martini'), (2,'kebin'), (3,'jack') 3. INSERT INTO Data INSERT I..