Technical Tutorials

Giriş

Geleneksel veri gölleri uzun süredir bir "veri bataklığı" sorunundan muzdariptir. Nesne depolama (AWS S3 veya Azure Blob Storage gibi) ölçeklenebilirliği ve maliyet etkinliğini sunarken, genellikle bir veritabanından beklenen güvenilirlik, tutarlılık ve performansı sağlamaz. Delta Lake devreye girer; veri göllerine güvenilirlik ve performans getiren açık kaynaklı bir depolama katmanıdır. Bir veri gölünün en iyi özelliklerini bir veri ambarının yönetim yetenekleriyle birleştirerek Delta Lake, Data Lakehouse mimarisini mümkün kılar ve modern veri mühendisliği hatları için standart haline gelir.

Delta Lake'in Temel Yetenekleri

Delta Lake, standart veri dosyası formatlarının üzerine metadata yönetimi sağlayarak Parquet dosyalarının yeteneklerini genişletir. Veri bütünlüğünü sağlayan bir işlem günlüğü (transaction log) üzerine inşa edilmiştir. Herhangi bir veri mühendisi için en kritik özellikler şunlardır:

ACID İşlemleri: Eşzamanlı okuma ve yazma işlemleri sırasında bile verinin tutarlı olmasını sağlar. Kısmi okumaları önler ve bir yazma işlemi başarısız olursa veri kümesinin orijinal durumunda kalmasını garanti eder.
Şema Zorlaması ve Evrimi: Delta Lake, şemaları zorlayarak kötü verilerin gölünüze girmesini engeller. Ayrıca şema evrimine de izin verir; mevcut hatları bozmadan yeni sütunlar eklemenize veya türleri değiştirmenize olanak tanır.
Zaman Yolculuğu (Sürümleme): Bu, tartışmasız en güçlü özelliktir. Sürüm numarası veya bir zaman damgası belirterek verinizin önceki sürümlerine erişebilirsiniz; bu da hata ayıklama, denetim ve geri alma (rollback) yeteneklerini kolaylaştırır.
Birleşik Toplu ve Akış İşleme: Delta Lake, toplu işleme ve akış (streaming) için tutarlı bir API sağlar; bu da geçmiş ve gerçek zamanlı veriler için ayrı sistemlerin bakımının karmaşıklığını basitleştirir.

PySpark ile Delta Lake Uygulaması

Delta Lake'ten yararlanmak için genellikle Apache Spark ile birlikte kullanılır. Aşağıda, bir Delta tablosu oluşturma, şema zorlamasıyla bir yazma işlemi gerçekleştirme ve önceki sürümleri sorgulamak için zaman yolculuğu kullanma gösteren pratik bir örnek bulunmaktadır.

from delta.tables import DeltaTable
from pyspark.sql import SparkSession

# Spark oturumunu başlat
spark = SparkSession.builder \
    .appName("DeltaLakeExample") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# 1. Şema Zorlamasıyla Bir Delta Tablosu Oluştur
data = [
    ("1", "Alice", 30),
    ("2", "Bob", 25)
]
df = spark.createDataFrame(data, ["id", "name", "age"])

# Delta tablosu olarak kaydet. Bu, işlem günlüğünü otomatik olarak oluşturur.
delta_path = "/path/to/delta/table"
df.write.format("delta").mode("overwrite").save(delta_path)

# 2. Zaman Yolculuğu: Sürüm 0'ı Sorgula
# Bu, veriyi önceki sürümdeki gibi alır
df_v0 = spark.read.format("delta").option("versionAsOf", 0).load(delta_path)
df_v0.show()

# 3. Upsert İşlemi (Merge/Birleştirme)
new_data = [
    ("1", "Alice", 31),
    ("3", "Charlie", 35)
]
df_new = spark.createDataFrame(new_data, ["id", "name", "age"])

# Yeni veriyi mevcut tabloya birleştir
delta_table = DeltaTable.forPath(spark, delta_path)
delta_table.alias("old").merge(
    df_new.alias("new"),
    "old.id = new.id"
).whenMatchedUpdateAll() \
 .whenNotMatchedInsertAll() \
 .execute()

Yukarıdaki kodda, option("versionAsOf", 0) kullanımına dikkat edin. Bu, herhangi bir değişiklik yapılmadan önceki verinin tam durumunu sorgulamanıza olanak tanır. Ayrıca, merge fonksiyonu, Delta Lake'in standart Parquet tabanlı veri göllerinde ünlü derecede zor ve yavaş olan upsert işlemlerini nasıl basitleştirdiğini gösterir.

Performans Optimizasyonu: Vacuum ve Optimize

Delta Lake, zaman yolculuğu ve ACID uyumluluğu için değişikliklerin geçmişini tuttuğundan, zamanla küçük dosyalar birikebilir. Performansı korumak için iki komut esastır:

.optimize(): Bu komut, küçük dosyaları daha büyük, optimize edilmiş dosyalara sıkıştırarak okuma sorgularını önemli ölçüde hızlandırır.
.vacuum(): Bu komut, işlem günlüğü tarafından artık referans gösterilmeyen eski dosyaları siler. Uyarı: Tutma politikasının (retention policy) doğru ayarlandığından emin olun, çünkü vacuum işlemi, tutma süresi ötesindeki zaman yolculuğu için gerekli olan tarihi verileri kalıcı olarak siler.

Sonuç

Delta Lake, veri göllerinin esnekliği ile veri ambarlarının güvenilirliği arasındaki boşluğu etkili bir şekilde kapatmıştır. Veri mühendisleri için veri bozulması, şema kayması ve yavaş sorgu performansı gibi yaygın sorunlara sağlam bir çözüm sunar. ACID işlemlerini, zaman yolculuğunu ve birleşik işlemeyi tek bir açık kaynaklı çerçeveye entegre ederek Delta Lake, ölçeklenebilir, güvenilir ve yüksek performanslı veri mimarileri oluşturmak için temel sağlar. İster Databricks, ister AWS EMR, ister Azure Synapse üzerinde olun, Delta Lake'i ustalıkla öğrenmek artık bir tercih değil; modern veri mühendisliği için bir zorunluluktur.