Technical Tutorials

Büyük veri mühendisliği manzarası, izole veri göllerinden entegre lakehouse mimarilerine dramatik bir şekilde evrildi. Bu dönüşümün merkezinde, bir veritabanının güvenilirliğini bir veri gölünün ölçeği ve esnekliğiyle birleştiren Apache Iceberg tablo formatı yer alıyor. Orta düzey ve ileri seviye geliştiriciler için Iceberg'i anlamak artık isteğe bağlı değil; ACID özelliklerini korurken devasa veri kümelerini işleyen ve karmaşık analitik iş yüklerini destekleyen sistemler inşa etmek için vazgeçilmezdir.

Neden Modern Tablo Formatları Önemlidir?

Geleneksel veri gölleri genellikle "göl evi" paradoksundan muzdaripti: Nesne depolama birimlerinin depolama verimliliğine sahiptiler ancak ilişkisel veritabanlarının işlem bütünlüğünden yoksundular. Veri eğriliği, yetim dosyalar ve şema uygulama eksikliği, büyük ölçekli analitiği kırılgan hale getiriyordu. Iceberg, bir tablonun mantıksal görünümünü, bulutta veya yerinde nesne depolamada saklanan fiziksel dosyalardan ayırarak bu sorunu çözüyor.

Sadece CSV veya Parquet dökümlerinin aksine Iceberg, tablonun meta verilerinin bir anlık görüntüsünü (snapshot) korur. Bu, motorların önce alttaki dosyaları taramadan verinin yapısını, bölümlemesini ve istatistiklerini anında anlamasını sağlar. Bu meta veri odaklı yaklaşım, saniyenin altındaki sorgu planlamasını ve sağlam eşzamanlılık kontrolünü mümkün kılan unsurdur.

Yeniden Yazma Gerektirmeyen Şema Evrimi

Gelişen veri modelleri için en kritik özelliklerden biri Şema Evrimi'dir. Miras sistemlerde, bir sütun eklemek genellikle tüm veri kümelerinin yeniden yazılmasını veya bakım kabuslarına dönüşen geçici görünümlerin oluşturulmasını gerektirirdi. Iceberg, alttaki veri dosyalarına dokunmadan sütun ekleme, yeniden adlandırma ve silme işlemlerini yerinde destekler.

Yeni bir sütun eklediğinizde, Iceberg bu değişikliği meta verilerde kaydeder. Mevcut okuyucular bu sütun için NULL görürken, yeni yazarlar bunu doldurabilir. Bu yıkıcı olmayan yaklaşım, iş mantığınız değişse bile veri ambarınızın tutarlı kalmasını sağlar.

// PyIceberg'de Şema Evrimi Örneği
from pyiceberg.catalog import load_catalog

catalog = load_catalog("prod")
table = catalog.load_table("database.users")

# Veriyi yeniden yazmadan yeni bir sütun ekle
table.update_schema().add_column("user_tier", type_string()).commit()

Bölümleme ve Gizli Şemalar

Bölümleme, dağıtık sistemlerde sorgu performansının birincil kaldıraç noktasıdır. Iceberg, Gizli Bölümleme kavramını tanıtır. Dosya yollarını manuel olarak yönetmek yerine, meta verilerde bölümleme dönüşümleri (örneğin date_bucket, truncate veya year) tanımlarsınız.

Sorgu motoru, bu dönüşümlere dayanarak ilgili olmayan veri dosyalarını otomatik olarak budar. Örneğin, 2023 yılına ait veriler için sorgu yaptığınızda, Iceberg hangi dosyaların okunacağını tam olarak bilir ve 2022 yılına ait olanları görmezden gelir. Bu, "küçük dosya sorununu" ortadan kaldırır ve IO maliyetlerini önemli ölçüde azaltır.

SELECT *
FROM user_events
WHERE event_date >= '2023-01-01'
  AND event_date < '2024-01-01';
-- Iceberg, bu aralık dışındaki dosyaları otomatik olarak budar

Zaman Yolculuğu ve Denetim

Veri bütünlüğü, düzenlemeye tabi sektörlerde en önemli konudur. Iceberg, Zaman Yolculuğu'nu destekler; bu sayede tabloyu herhangi bir önceki anlık görüntüde olduğu gibi sorgulayabilirsiniz. Bu, veri hattı hatalarını ayıklamak, değişiklikleri denetlemek veya kötü bir yazma işleminden sonra verileri geri yüklemek için paha biçilmezdir.

Her commit yeni bir anlık görüntü oluşturur ve Iceberg varsayılan olarak birden fazla sürümü saklar. FOR SYSTEM_TIME AS OF ifadesini kullanarak geçmiş sürümleri sorgulayabilir ve verinizin yaşam döngüsünün eksiksiz bir denetim izini sağlayabilirsiniz.

SELECT *
FROM sales_data
FOR SYSTEM_TIME AS OF TIMESTAMP '2023-10-27 12:00:00';

Sorgu Optimizasyonu ve Bakım

Performansın en üst düzeyde tutulması için Iceberg, periyodik bakım görevleri gerektirir. En önemlisi, okuma performansını artırmak için küçük dosyaları daha büyük olanlarla birleştiren Sıkıştırma (veya "Veri Dosyalarını Yeniden Yazma") işlemidir. Ayrıca, çok boyutlu sorgular için veri yerelliğini artırmak üzere belirli sütunlara Z-sıralama veya Kümeleme uygulanabilir.

Spark, Flink ve Trino gibi motorlar Iceberg ile sorunsuz bir şekilde entegre olur; bu da öngörü itme (predicate pushdown) ve sütun budama (column pruning) gibi özelliklerden faydalanan optimize kod yazmanıza olanak tanır.

Sonuç

Apache Iceberg sadece bir dosya formatı değildir; ölçeklenebilir ve dayanıklı bir veri altyapısı inşa etmenin temelidir. ACID işlemlerini, esnek şema evrimini ve akıllı bölümlemeyi birleştirerek veri gölleri ile veri ambarları arasındaki boşluğu kapatır. Bir sonraki lakehouse mimarinizi inşa ederken, veri hattınızı ölçek ve karmaşıklık zorluklarına karşı geleceğe hazırlamak için Iceberg'i benimsemeyi düşünün.