Technical Tutorials

Jupyter notebook'ta bir makine öğrenmesi modeli oluşturmak, üretim seviyesinde bir sistem dağıtmaktan temelde farklıdır. Bu geçiş, titiz tekrarlanabilirlik, otomatik testler ve veri mühendisliği iş akışlarıyla sorunsuz entegrasyon gerektirir. Apache Airflow, bu karmaşık bağımlılıkları yönetmek için endüstri standardı haline gelmiş, statik deneyleri dinamik ve izlenebilir ML hatlarına dönüştürmüştür.

Neden MLOps için Airflow?

Geleneksel veri hatları yapılandırılmış verileri işlerken, ML hatları model sürümleme, özellik deposu aramaları ve hiperparametre ayarlama gibi karmaşıklık katmanları getirir. Airflow, kodu yapılandırma olarak ele aldığı için burada öne çıkar. ML iş akışınızı Yönlendirilmiş Döngüsüz Grafikler (DAG'ler) olarak tanımlayarak başarısızlıklara görünürlik, otomatik yeniden denemeler ve veri ile modellerin kökenini gösteren net bir izlenebilirlik elde edersiniz.

Orta düzey geliştiriciler için anahtar, bulut depolama, Kubernetes kümeleri veya model kayıtlarıyla etkileşimin temel kodunu soyutlamak için Airflow'un operatörlerinden yararlanmaktır.

Bir ML DAG'inin Temel Bileşenleri

Güçlü bir ML hattı genellikle doğrusal bir ilerleme izler: Veri Alımı -> Özellik Mühendisliği -> Eğitim -> Doğrulama -> Kayıt -> Dağıtım. Her adım, @task ile süslenmiş bir Python işlevi içinde veya özel bir Operatör kullanılarak uygulanır.

Python API'sini kullanan pratik bir örneğe bakalım. Bu kod parçası, model doğrulamasının yalnızca eğitim başarıyla tamamlandıktan sonra gerçekleşmesini sağlamak için görevlerin nasıl zincirleneceğini gösterir.

from datetime import datetime
from airflow import DAG
from airflow.decorators import task

@task
def fetch_training_data():
    """S3 veya bir veri ambarından veri çekmeyi simüle eder."""
    print("S3 kovalasından veri kümesi çekiliyor...")
    return {"data": "raw_data_content", "schema": "v1.0"}

@task
def train_model(data):
    """Bir model eğitir ve model yapısı referansını döndürür."""
    print(f"Model, {data['schema']} veri sürümünde eğitiliyor")
    # sklearn veya tensorflow modeli eğitmek için mantık buraya gelir
    return {"model_id": "model_v1", "accuracy": 0.95}

@task
def validate_model(model_artifact):
    """Model performansını taban çizgisine karşı doğrular."""
    print(f"Model doğrulanıyor: {model_artifact['model_id']}")
    if model_artifact['accuracy'] < 0.90:
        raise ValueError("Model doğruluğu çok düşük!")
    return "Doğrulama Başarılı"

with DAG(
    dag_id='ml_pipeline_orchestration',
    start_date=datetime(2023, 1, 1),
    schedule_interval='@daily',
    catchup=False
) as dag:

    data = fetch_training_data()
    model = train_model(data)
    validation_result = validate_model(model)

    # Dağıtım görevlerini buraya ekleyebilirsiniz

Eğitim ve Dağıtımın Entegrasyonu

MLOps'te Airflow'un gerçek gücü, özel araçlarla entegrasyon sağlandığında ortaya çıkar. Ham Python betikleri yazmak yerine, veri taşıma için S3ToRedshiftOperator veya GPU destekli kümelerde eğitim işleri çalıştırmak için KubernetesPodOperator gibi özel operatörler kullanın.

Dağıtım için DockerOperator kullanmayı veya HTTP görevleri aracılığıyla Jenkins veya GitHub Actions gibi CI/CD araçlarıyla entegrasyon kurmayı düşünün. Bu, doğrulama görevi geçtiğinde modelin otomatik olarak bir kapsayıcı deposuna itilmesini ve AWS SageMaker veya Azure ML gibi bir hizmet uç noktasına dağıtılmasını sağlar.

Ölçeklenebilirlik İçin En İyi Uygulamalar

Görevleri Modüler Hale Getirin: Bireysel görevleri küçük ve odaklı tutun. Bu, okunabilirliği artırır ve tüm hattı yeniden çalıştırmadan ince taneli yeniden denemelere olanak tanır.
XCom'ları Az Kullanın: XCom'lar aracılığıyla görevler arasında büyük veri kümeleri geçirmek meta veri veritabanını tıkayabilir. Büyük yapılar için her zaman dosya yollarını veya nesne depolamasına işaretçileri geçirin.
Kaynak Kullanımını İzleyin: KubernetesPodOperator'ınızda kaynak sınırları yapılandırarak tek bir eğitim işinin mevcut tüm küme kaynaklarını tüketmesini önleyin.

Sonuç

Apache Airflow ile uçtan uca ML hatlarını orkestrasyon, deneysel veri bilimi ile güvenilir mühendislik arasındaki boşluğu doldurur. ML iş akışlarını yazılım mühendisliği problemleri olarak ele alarak ekipler daha büyük tekrarlanabilirlik, daha hızlı yinelenme döngüleri ve üretim dağıtımlarında daha yüksek güven elde edebilir. Eğitim işinizi orkestrasyonla başlayın ve otomatik doğrulama ve dağıtım adımlarını dahil etmek için kademeli olarak genişletin.