쿠리이야기

DeltaTable 주요 메서드 정리 1. 테이블 접근from delta.tables import DeltaTable# 경로 기반으로 불러오기delta_table = DeltaTable.forPath(spark, "/mnt/delta/user_metrics")# 테이블 이름 기반으로 불러오기delta_table = DeltaTable.forName(spark, "default.user_metrics") 2. MERGE (업서트)delta_table.alias("t").merge( df_updates.alias("s"), "t.user_id = s.user_id AND t.date = s.date").whenMatchedUpdateAll() \ .whenNotMatchedInsertAll() \..

PySpark - ETL 코드 흐름 # 데이터 읽기### 데이터 읽기 extract from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("ETLExample").getOrCreate()# CSV 읽기df_csv = spark.read.option("header", True).csv("/mnt/data/input/sample.csv")# Parquet 읽기df_parquet = spark.read.parquet("/mnt/data/input/sample.parquet")# Delta 읽기df_delta = spark.read.format("delta").load("/mnt/delta/sample_delta") # 데이터 변환##..