Technical Tutorials

Apache Iceberg, ACID işlemleri, zaman yolculuğu ve özellikle şema evrimi ile gizli bölümleme sunarak veri gölü mimarisi yaklaşımımızı temelden değiştirdi. Orta ve ileri düzey veri mühendisleri için bu özellikleri ustalaşmak artık opsiyonel değil; ölçeklenebilir, sürdürülebilir ve maliyet etkin analitik platformlar oluşturmak için vazgeçilmezdir.

Neden Modern Veri Göllerinde Şema Evrimi Önemlidir?

Geleneksel Hive veya Parquet tabanlı iş akışlarında, kaynak sisteme bir sütun eklemek genellikle aşağı akıştaki işleri bozar. Iceberg, fiziksel dosya yapısını mantıksal şemadan ayırır. Şemayı evrimleştirdiğinizde Iceberg yalnızca meta veri kataloğunu günceller, alttaki veri dosyalarını değil. Bu, terabaytlarca veriyi yeniden yazmadan sütun ekleyebileceğiniz, yeniden adlandırabileceğiniz veya silebileceğiniz anlamına gelir.

Bu yetenek, veri gölünüzün değişen iş gereksinimlerine anında uyum sağlamasına olanak tanır. Örneğin, uygulamanız user_tier (kullanıcı katmanı) takibine başlarsa, bu alanı Iceberg tablosu şemasına hemen ekleyebilirsiniz. Geçmiş veriler yeni alan için NULL döndürürken, yeni yazmalar onu doldurur; tüm bunlar kesinti olmadan gerçekleşir.

SQL ile Şema Evrimi Uygulama

Spark SQL veya Trino kullanarak şema evrimi basittir. Aşağıda, aşağı akıştaki tüketiciler için netliği sağlamak amacıyla bir sütun ekleme ve diğerini yeniden adlandırma konusunda pratik bir örnek bulunmaktadır:


-- 'orders' tablosuna yeni bir sütun ekle
ALTER TABLE catalog.sales.orders ADD COLUMNS (
    discount_applied DOUBLE,
    fraud_score FLOAT
);

-- Daha iyi semantik netlik için bir sütunu yeniden adlandır
ALTER TABLE catalog.sales.orders RENAME COLUMN cust_name TO customer_full_name;

-- Bir sütunun türünü değiştir (uyumluysa)
ALTER TABLE catalog.sales.orders ALTER COLUMN order_value TYPE BIGINT;

Iceberg'in tür genişletme işlemlerini (ör. INT'ten BIGINT'e) sorunsuz nasıl ele aldığını fark edin. Ancak türleri daraltmak veya uyumsuz türleri değiştirmek başarısız olur ve bu da veri bütünlüğünü korur.

Gizli Bölümleme: Oyunu Değiştiren Unsur

Iceberg'den önce bölümleme, açık yola dayalı dizinler gerektiriyordu (ör. /date=2023/01/01/). Bu iki büyük soruna yol açtı: şema değişiklikleri dizin yeniden yapılandırması gerektiriyordu ve bölümleme öngörüleri sorgu motoruna açık hale gelerek optimizör esnekliğini sınırlıyordu.

Iceberg'in gizli bölümlemesi, sorgudan yolu kaldırır. Tablo spesifikasyonunda bölümleme dönüşümlerini tanımlarsınız, ancak bunlar SQL katmanı için görünmezdir. Tablo tek bir, bölümlenmemiş varlık gibi görünür, ancak veriler verimli budama için fiziksel olarak organize edilir.

Pratik Örnek: Gizli Bölümleri Yapılandırma

Yüksek hacimli bir olaylar tablosunu düşünün. Sorgu performansını optimize etmek için gün ve saate göre bölümleme yapmak istiyoruz. Iceberg ile bunu tablo DDL'sinde tanımlarız, ancak kullanıcılar bölümleri açıkça belirtmeden sorgu yapar:


CREATE TABLE catalog.analytics.events (
    event_id STRING,
    user_id STRING,
    event_time TIMESTAMP,
    payload MAP<STRING, STRING>
) USING ICEBERG
TBLPROPERTIES (
    'partition-spec'='days(event_time),hours(event_time)'
);

-- Veri ekle
INSERT INTO catalog.analytics.events VALUES
('e1', 'u101', TIMESTAMP('2023-10-01 10:15:00'), MAP('action', 'click')),
('e2', 'u102', TIMESTAMP('2023-10-01 11:30:00'), MAP('action', 'view'));

-- Bölüm yollarını belirtmeden sorgula
SELECT * FROM catalog.analytics.events
WHERE event_time BETWEEN '2023-10-01 00:00:00' AND '2023-10-01 23:59:59';

Arka planda Iceberg, event_time dönüşümüne dayalı olarak dosyaları budar ve yalnızca ilgili günlük ve saatlik klasörleri tarar. Kullanıcı fiziksel yerleşimi asla bilmez, bu da uygulama kodunu değiştirmeden daha sonra bölümleme stratejilerini değiştirmeyi basit hale getirir.

Bölümleme Stratejilerini Güvenle Değiştirme

Iceberg'in en güçlü özelliklerinden biri, bölümleme spesifikasyonlarını evrimleştirebilme yeteneğidir. Diyelim ki hacminiz büyüyor ve günlük bölümler çok büyük hale geliyor. Veri migrasyonu olmadan saatlik veya hatta dakikalık bölümlere geçebilirsiniz:


-- Bölümleme spesifikasyonunu günlerden saatlere evrimleştir
ALTER TABLE catalog.analytics.events
SET TBLPROPERTIES ('partition-spec'='hours(event_time)');

Iceberg, mevcut verilerle uyumluluğu korurken gelecekteki yazmalar için en uygun bölümleme yerleşimini otomatik olarak belirler. Sorgular sorunsuz bir şekilde çalışmaya devam eder ve motor hem eski hem de yeni bölümleme yapılarını zekice işler.

Ölçeklenebilir Veri Gölleri İçin En İyi Uygulamalar

Geniş Başlayın, Daha Sonra İnce Ayar Yapın: Minimal bölümlemeyle (ör. tarih) başlayın ve veri hacmi büyüdükçe evrimleştirin. Gizli bölümleme bunu risksiz hale getirir.
Semantik Sütun Adları Kullanın: Şema evrimi ucuz olduğu için, gerektiğinde daha sonra yeniden adlandırılabilecek, net ve iş dostu adlandırma kurallarına odaklanın.
Tablo Meta Verilerini İzleyin: Bölümleme budamasının etkili olduğundan emin olmak için tablo istatistiklerini düzenli olarak kontrol edin. Değişiklikleri denetlemek için SELECT * FROM table.metadata_log kullanın.
Kompresyonu (Compaction) Kullanın: Sık ve küçük yazmalarla oluşturulan küçük dosyaları birleştirmek ve optimal okuma performansını korumak için düzenli kompresyon işleri planlayın.

Sonuç

Apache Iceberg'in şema evrimi ve gizli bölümleme özellikleri, veri gölünü statik bir depodan dinamik ve uyumlu bir platforma dönüştürür. Fiziksel depolamayı mantıksal şemalardan ayırarak ve bölümleme karmaşıklığını kullanıcılardan gizleyerek Iceberg, veri mühendislerinin zahmetsizce ölçeklenen ve iş ihtiyaçlarıyla evrimleşen sistemler oluşturmasını sağlar. Bu kavramları ustalaşmak, modern veri altyapısının tam potansiyelini açığa çıkarmanın anahtarıdır. Bu kalıpları uygularken, sorgu katmanında basitliğin, depolama katmanında zekayla birleşmesinin, gerçekten ölçeklenebilir bir veri gölünün alameti olduğunu unutmayın.