Technical Tutorials

On yılı aşkın süredir Apache Airflow, veri orkestrasyonunun tartışmasız kralı olmuştur. Ancak veri yığınları basit toplu işlemden gerçek zamanlı akışlara, özellik depolarına ve lakehouse mimarilerine evrildikçe, geleneksel "görev tabanlı" DAG modeli genellikle hantal hissettirmektedir. Birçok mühendislik ekibi artık orkestrasyon araçlarının bir sonraki nesline, özellikle de Dagster ve Prefect'e yönelmektedir. Her ikisi de modern arayüzler, bulut yerel yetenekler ve varlık odaklı iş akışlarına geçiş sunmaktadır. Peki hangisi ekibinizin ihtiyaçlarına uyuyor? Bu gönderi, bu iki yükselen yıldız arasında seçim yaparken mimari farklılıkları, kodlama paradigmasını ve pratik sonuçları inceliyor.

Paradigma Değişimi: Görevler mi, Varlıklar mı?

Bu modern araçlar ile Airflow arasındaki temel ayrım, görevlerden varlıklara geçiştir. Airflow'da bir boru hattını, veriyi dönüştüren bir dizi işlem (görev) olarak tanımlarsınız. Verinin kendisi genellikle dolaylı bir yan üründür. Ancak Dagster'da Varlık (Asset), birincil tanım birimidir. Üretmek istediğiniz veriyi (ör. sales_by_region) açıklarsınız ve çerçevenin bunu nasıl hesaplayacağı ve tazeliğini nasıl yöneteceği konusunda karar vermesini sağlarsınız.

Prefect, benzer ancak biraz farklı bir yaklaşım benimseyerek akışlara (flows) ve görevlere (tasks) odaklanır; ancak hibrit çalıştırma (yerel ve bulut) destekleyen ve pandas, SQL ve Spark gibi kütüphanelerle sıkı sarmalayıcılar olmadan sorunsuz entegrasyon sağlayan çok daha esnek, Pythonik bir çalışma modeli sunar.

Dagster: Varlık Öncelikli Yaklaşım

Dagster, sıkı veri soy kütüğü (lineage) ve gözlemlenebilirlik isteyen kuruluşlar için tasarlanmıştır. Varlık tabanlı modeli, hangi varlıkların bayat, hangilerinin taze olduğunu ve bunların birbirine nasıl bağımlı olduğunu, onları üreten boru hatlarının sayısından bağımsız olarak görselleştirmenize olanak tanır.

İşte Dagster'da bir varlık tanımlamanın basit bir örneği:

import pandas as pd
import dagster as dg

@dg.asset
def raw_sales_csv() -> str:
    # Ham veri getirmeyi simüle eder
    return "s3://bucket/raw_sales.csv"

@dg.asset
def cleaned_sales_df(raw_sales_csv: str) -> pd.DataFrame:
    # Dagster, adlar eşleşirse veya InputContext üzerinden
    # raw_sales_csv çıktısını otomatik olarak argüman olarak geçirir
    df = pd.read_csv(raw_sales_csv)
    return df.dropna()

@dg.asset
def sales_by_region(cleaned_sales_df: pd.DataFrame) -> pd.DataFrame:
    return cleaned_sales_df.groupby('region').sum()

Bağımlılıkları açıkça tanımlamadığımıza dikkat edin. Dagster, işlev argümanlarına dayalı olarak soy kütüğünü çıkarır. Bu, hesaplamayı veri yapısından ayırdığınız için boru hatlarını yeniden yapılandırmayı önemli ölçüde kolaylaştırır.

Prefect: Esneklik ve Geliştirici Deneyimi

Prefect, geliştirici deneyimini ve esnekliği önceliklendirir. Kodunuzu basit ve standart Python olarak tutmak istediğinizde en iyi şekilde çalışır. Prefect'in "fluvio" motoru, kutudan çıktığı gibi gelişmiş eşzamanlılık ve hata yönetimi sağlar. Ayrıca hibrit çalıştırmaya güçlü bir odaklanma sergiler; bu da orkestrasyon mantığınızı Prefect Cloud'da çalıştırırken, gerçek hesaplamaların kendi altyapınızda gerçekleşmesine olanak tanır.

İşte aynı mantığın Prefect'te nasıl göründüğü:

import pandas as pd
from prefect import flow, task
from prefect.filesystems import S3

@task
def fetch_raw_sales() -> str:
    return "s3://bucket/raw_sales.csv"

@task
def clean_sales(file_path: str) -> pd.DataFrame:
    df = pd.read_csv(file_path)
    return df.dropna()

@task
def aggregate_sales(df: pd.DataFrame) -> pd.DataFrame:
    return df.groupby('region').sum()

@flow(name="Sales Pipeline")
def sales_pipeline():
    file_path = fetch_raw_sales()
    cleaned_df = clean_sales(file_path)
    result = aggregate_sales(cleaned_df)
    return result

Prefect'in API'si, standart Python betiklemeyle aşina olan geliştiriciler için son derece sezgiseldir. Sıkı bir varlık kayıt defteri dayatmadan güçlü durum yönetimi ve yeniden denemeler sunar.

Seçim İçin Temel Düşünceler

Soy Kütüğü & Yönetişim: Kurumsal düzeyde veri kataloglama, otomatik tazelik kontrolleri ve birden fazla ekip arasında karmaşık bağımlılık çözümleme gerekiyorsa Dagster'ı seçin.
Esneklik & Hız: Ekibiniz hızlı prototipleme, karmaşık Python mantığına değer veriyorsa veya veri boru hatlarının yanı sıra veri olmayan görevleri (ör. ML çıkarımı, API çağrıları) orkestra etmeniz gerekiyorsa Prefect'i seçin.
Ekosistem Entegrasyonu: Dagster'ın dbt ve veri ambarlarıyla daha derin yerel entegrasyonları vardır. Prefect'in ise MLOps araçları ve bulut sağlayıcılarıyla mükemmel entegrasyonları vardır.

Sonuç

Airflow'un ötesine geçmek sadece araç değiştirmekle ilgili değildir; zihinsel modelinizi değiştirmekle ilgilidir. Acı noktanız "Hangi verinin bayat olduğunu veya nasıl üretildiğini bilmiyorum" ise, Dagster'ın varlık tabanlı yaklaşımı muhtemelen size önemli ölçüde zaman kazandıracaktır. Acı noktanız "Airflow, karmaşık Python iş akışlarım için çok katı" ise, Prefect daha hafif ve esnek bir alternatif sunar. Her ikisi de modern veri mühendisliği için mükemmel seçimlerdir ve karar nihayetinde veri soy kütüğüne (Dagster) mi yoksa geliştirici esnekliğine (Prefect) mi öncelik verdiğinize bağlıdır.