Technical Tutorials

در چشم‌انداز سریعاً در حال تحول مهندسی داده و DevOps، اورکستریشن جریان کار به بخشی حیاتی از هر تکنولوژی‌استک محکم تبدیل شده است. در حالی که غول‌هایی مانند آپاچی ایرفلو و پرفکت در گفتگوها تسلط دارند، بازیگر جدیدی با طراحی متمرکز بر توسعه‌دهنده و سادگی خود موج‌های قابل توجهی ایجاد می‌کند: کسترا (Kestra). کسترا یک پلتفرم اورکستریشن و زمان‌بندی جهانی است که به توسعه‌دهندگان اجازه می‌دهد جریان‌های کار را به عنوان کد تعریف کنند. برخلاف ابزارهای سنتی که به شدت به نمایش‌های پیچیده DAG (گراف جهت‌دار بدون دور) در پایتون یا جاوا متکی هستند، کسترا از YAML برای تعاریف جریان کار استفاده می‌کند. این رویکرد ترکیبی منحصر‌به‌فرد از دسترسی‌پذیری برای تحلیل‌گران داده و قدرت برای مهندسان نرم‌افزار ارائه می‌دهد.

چرا کسترا را انتخاب کنیم؟

تفاوت اصلی کسترا در فلسفه «زیرساخت به عنوان کد» (Infrastructure as Code) اعمال‌شده بر جریان‌های داده است. با تعریف کل پایپلاین خود در یک فایل YAML واحد، به چندین مزیت کلیدی دست می‌یابید: 1. **سادگی و خوانایی**: YAML قابل خواندن توسط انسان است. یک کار ETL پیچیده می‌تواند در یک نگاه درک شود که بار شناختی را در زمان آنبوردینگ یا دیباگینگ کاهش می‌دهد. 2. **یکپارچگی بومی**: کسترا به صورت بومی به صدها ابزار از جمله PostgreSQL، Kafka، Slack، S3 و AWS متصل می‌شود که نیاز به کدهای قالب‌بندی سفارشی را کاهش می‌دهد. 3. **تکرارپذیری**: از آنجا که جریان کار کد است، می‌توان آن را تحت کنترل نسخه قرار داد، آزمایش کرد و از طریق پایپلاین‌های CI/CD دقیقاً مانند هر برنامه دیگری مستقر نمود. 4. **عدم قفل‌شدگی با فروشنده**: کسترا متن‌باز است و به شما امکان می‌دهد آن را در هر زیرساختی از راه دور میزبانی کنید، از تنظیمات Docker محلی تا کلاسترهای Kubernetes.

مفاهیم اصلی: تسک‌ها و جریان‌ها

در کسترا، همه چیز حول مفهوم جریان (Flow) می‌چرخد. یک جریان، مجموعه‌ای از تسک‌ها است که به ترتیب خاصی اجرا می‌شوند. تسک‌ها واحدهای اتمی کار هستند، مانند اجرای یک کوئری SQL، کپی کردن یک فایل یا فعال‌سازی یک API. برخلاف ایرفلو که در آن ممکن است تسک‌ها را در پایتون تعریف کنید و آن‌ها را با عملگرهای منطکی به هم متصل کنید، کسترا به شما اجازه می‌دهد ترتیب اجرا را مستقیماً در ساختار YAML تعریف کنید. این رویکرد اعلانی (Declarative) خطاها را به حداقل می‌رساند و مسیر اجرا را صریح می‌کند.

شروع به کار: یک مثال عملی

بیایید به یک مثال عملی نگاه کنیم. تصور کنید یک کار ETL ساده که داده‌ها را از یک فایل CSV استخراج می‌کند، آن را با استفاده از یک کوئری SQL تبدیل می‌کند و نتیجه را در یک پایگاه داده PostgreSQL بارگذاری می‌کند. این نحوه تعریف آن در کسترا است:

id: simple_etl
namespace: com.example

tasks:
  - id: extract
    type: io.kestra.plugin.csv.Extract
    resource: "s3://my-bucket/data/input.csv"

  - id: transform
    type: io.kestra.plugin.jdbc.postgresql.Query
    sql: |
      SELECT 
        customer_id, 
        SUM(order_amount) as total_spent
      FROM raw_data
      GROUP BY customer_id
    
  - id: load
    type: io.kestra.plugin.jdbc.postgresql.Insert
    table: monthly_sales_summary
    from: "{{ outputs.transform.outputs }}"

  - id: notify
    type: io.kestra.plugin.slack.SlackWebhook
    title: "ETL Job Completed"
    channel: "#data-alerts"
    text: "Successfully loaded data into {{ flow.namespace }}.{{ flow.id }}"

در این قطعه کد: - تسک extract داده‌ها را از یک سطل S3 دریافت می‌کند. - تسک transform یک کوئری تجمیع SQL را روی نمونه PostgreSQL شما اجرا می‌کند. - تسک load خروجی تسک تبدیل را دریافت کرده و آن را در یک جدول خلاصه درج می‌کند. به استفاده از عبارات قالب‌بندی ({{ outputs.transform.outputs }}) برای انتقال داده‌ها بین تسک‌ها به صورت بی‌وقفه توجه کنید. - در نهایت، تسک notify پس از اتمام کار، یک اعلان Slack ارسال می‌کند.

یکپارچگی با CI/CD

یکی از قدرتمندترین ویژگی‌های کسترا توانایی آن در یکپارچه‌سازی با پایپلاین‌های CI/CD موجود شماست. از آنجا که جریان‌های کار شما به عنوان فایل‌های YAML در مخزن Git شما ذخیره می‌شوند، می‌توانید مستقرسازی‌ها را به صورت خودکار هنگام رانش (Push) تغییرات فعال کنید. برای مثال، می‌توانید از یک GitHub Action برای اعتبارسنجی سینتکس YAML و مستقرسازی جریان در نمونه کسترا خود استفاده کنید:

name: Deploy Kestra Flows
on:
  push:
    paths:
      - 'kestra/**'

jobs:
  deploy:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - name: Deploy to Kestra
        run: |
          curl -X POST https://kestra.example.com/api/v1/executions/run \
            -H "Authorization: Bearer ${{ secrets.KESTRA_TOKEN }}" \
            -F "flowId=simple_etl" \
            -F "namespace=com.example"

نتیجه‌گیری

کسترا نشان‌دهنده تغییر به سمت اورکستریشن جریان کار ساده‌تر و شفاف‌تر است. برای تیم‌هایی که از پیچیدگی مرتبط با ابزارهای سنتی مبتنی بر DAG خسته شده‌اند، کسترا جایگزینی تازه‌کننده ارائه می‌دهد. رویکرد کد-محور آن، همراه با اکوسیستم غنی پلاگین‌ها، آن را به انتخابی عالی برای مهندسی داده و عملیات DevOps مدرن تبدیل می‌کند. چه در حال اورکستریشن یک کار ETL ساده باشید یا یک پایپلاین داده چند ابری پیچیده، کسترا انعطاف‌پذیری و قدرتی را فراهم می‌کند که برای مدیریت کارآمد آن نیاز دارید. با راه‌اندازی یک نمونه محلی با استفاده از Docker، آن را امتحان کنید و ببینید چگونه استراتژی مدیریت جریان کار شما را متحول می‌کند.