Kestra در مقابل Airflow: مهاجرت DAGهای قدیمی به مدل ارکستراسیون مبتنی بر کد

مهاجرت یک DAG قدیمی

یک DAG معمولی Airflow را در نظر بگیرید که داده را از یک سطل S3 استخراج می‌کند، آن را با استفاده از یک اسکریپت پایتون تبدیل می‌کند و در یک پایگاه داده PostgreSQL بارگذاری می‌کند.

# legacy_dag.py
from airflow import DAG
from airflow.providers.amazon.aws.operators.s3 import S3ToRedshiftOperator
from airflow.operators.python import PythonOperator
from datetime import datetime

def transform_data(**kwargs):
    # منطق سفارشی در اینجا
    pass

with DAG(
    's3_to_pg_pipeline',
    start_date=datetime(2023, 1, 1),
    schedule_interval='@daily',
) as dag:
    extract = S3ToRedshiftOperator(
        task_id='extract_s3',
        aws_conn_id='aws_default',
        s3_key='data/file.csv',
        redshift_table='public.staging_data',
    )
    
    transform = PythonOperator(
        task_id='transform_data',
        python_callable=transform_data,
    )
    
    extract >> transform

در اینجا فرآیند معادل Kestra به صورت YAML آمده است:

id: s3_to_pg_pipeline
namespace: com.company.team

tasks:
  - id: extract_s3
    type: io.kestra.plugin.aws.s3.DownloadFile
    url: s3://bucket/data/file.csv
    output:
      - /tmp/file.csv

  - id: transform_data
    type: io.kestra.plugin.shell.exec.ShellTask
    input:
      - /tmp/file.csv
    output:
      - /tmp/transformed.csv

  - id: load_pg
    type: io.kestra.plugin.postgres.Insert
    url: "{{ secrets('POSTGRES_URL') }}"
    input: /tmp/transformed.csv

مراحل عملی مهاجرت

1. فهرست‌برداری از DAGهای خود: وابستگی‌ها، اپراتورهای سفارشی و محرک‌های خارجی را شناسایی کنید.
2. نگاشت وظایف به پلاگین‌های Kestra: از کتابخانه گسترده پلاگین Kestra استفاده کنید. اگر یک وظیفه پایتون سفارشی وجود دارد، آن را در یک پلاگین shell ساده یا Java/Kotlin پیچ کنید اگر عملکرد بالا مورد نیاز باشد.
3. بازطراحی منطق: منطق شرطی را از کد پایتون به وظایف شرطی Kestra (if, switch) منتقل کنید. این کار جریان کنترل را در رابط کاربری قابل مشاهده می‌کند.
4. مدیریت جریان داده: مخازن وضعیت خارجی (مانند Redis یا S3 برای داده‌های میانی) را با مکانیزم‌های بومی ورودی/خروجی Kestra جایگزین کنید.
5. تست موازی: برای یک دوره، هم Airflow و هم Kestra را اجرا کنید تا از یکسان بودن اطمینان حاصل شود.

نتیجه‌گیری

مهاجرت از Airflow به Kestra فقط تعویض ابزار نیست؛ بلکه فرصتی برای مدرن‌سازی استراتژی ارکستراسیون شماست. با پذیرش یک مدل اعلانی مبتنی بر YAML، تیم‌ها می‌توانند کد‌های تکراری را کاهش دهند، دید بهتری به نسبیت داده (data lineage) داشته باشند و تکرارهای سریع‌تری را ممکن سازند. اگرچه مهاجرت اولیه نیاز به برنامه‌ریزی دقیق دارد، اما مزایای بلندمدت در نگهداری‌پذیری و مقیاس‌پذیری Kestra را به انتخابی جذاب برای سازمان‌هایی تبدیل می‌کند که می‌خواهند فراتر از محدودیت‌های DAGهای پایتون سنتی حرکت کنند.