Technical Tutorials

Ölçeklenebilir Python uygulamaları geliştirirken, altyapınız büyüdükçe geleneksel sistem düzeyindeki cron işlerine güvenmek bir darboğaza dönüşebilir. Cron basit olsa da, dağıtık yürütme, yeniden deneme mekanizmaları ve merkezi izleme gibi modern mikro hizmetler için kritik özelliklerden yoksundur. İşte dağıtık bir ortamda periyodik görevleri zamanlamak için güçlü bir çözüm olan Celery ve Celery Beat. Redis mesaj aktarıcısı (message broker) olarak kullanıldığında, bu yığın üretim seviyesindeki yükler için gereken güvenilirliği ve performansı sunar.

Neden Standart Cron'dan Uzaklaşmalıyız?

Standart cron işleri, ana makinenin zamanına ve dosya sistemine bağlıdır. Birden fazla konteynere veya sunucuya dağıtım yaparsanız, senkronizasyonu yönetmek ve yarış durumlarından (race conditions) kaçınmak bir kabusa dönüşebilir. Celery Beat, çalışan düğümler arasında görev yürütmeyi yöneten merkezi bir zamanlayıcı sağlayarak bu sorunları çözer. Saat dilimi ayarlamalarını ele alır, en az bir kez yürütme (at-least-once) semantiğini sağlar ve Flower gibi izleme araçlarıyla sorunsuz bir şekilde entegre olur.

Temel Mimari

Bu yığını kurmak için üç ana bileşene ihtiyacınız vardır:

Celery Beat: Görevleri belirtilen aralıklarda tetikleyen zamanlayıcı.
Celery Workers: Gerçek görev mantığını yürüten süreçler.
Redis: Görevleri ve sonuçları depolayan mesaj aktarıcısı.

Proje Yapısının Kurulması

Standart bir proje düzeni olduğunu varsayalım. Zamanlanmış işlerimizi tanımlamak için temel bir tasks.py modülü oluşturacağız. İlk olarak, gerekli bağımlılıkların yüklü olduğundan emin olun:

pip install celery redis

Ardından, Redis kullanacak şekilde yapılandırılmış bir Celery uygulaması tanımlayalım. Bu yapılandırma genellikle bir config.py dosyasında yapılır:

# config.py
broker_url = 'redis://localhost:6379/0'
result_backend = 'redis://localhost:6379/0'
timezone = 'UTC'
enable_utc = True

Şimdi görevlerimizi tasks.py içinde tanımlayabiliriz. @app.task dekoratörünü kullanmak, hataları ve yeniden denemeleri otomatik olarak yönetmemize olanak tanır.

# tasks.py
from celery import shared_task
from datetime import timedelta
from celery.schedules import crontab

@shared_task(bind=True, max_retries=3)
def send_weekly_report(self):
    try:
        # E-posta gönderme veya veri işleme simülasyonu
        print("Haftalık rapor gönderiliyor...")
        return True
    except Exception as exc:
        raise self.retry(exc=exc)

Zamanlama İçin Celery Beat Yapılandırması

Büyü, beat yapılandırmasında gerçekleşir. Zamanlamaları doğrudan kodunuzda crontab nesneleri kullanarak veya harici bir yapılandırma dosyasından içe aktararak tanımlayabilirsiniz. İşte send_weekly_report görevini her Pazartesi saat 09:00'da çalışacak şekilde zamanlamanın yolu:

# celery_config.py
from celery.schedules import crontab

beat_schedule = {
    'weekly-report': {
        'task': 'tasks.send_weekly_report',
        'schedule': crontab(hour=9, minute=0, day_of_week=1),
    },
}

Bu yaklaşım, işletim sistemi düzeyinde crontab sözdizimi tek bir satır bile yazmadan karmaşık zamanlama mantığına olanak tanır. Örneğin, sabit aralıklar için timedelta da kullanabilirsiniz:

from datetime import timedelta

beat_schedule = {
    'cleanup-cache': {
        'task': 'tasks.cleanup_cache',
        'schedule': timedelta(hours=2),
    },
}

Hizmetlerin Çalıştırılması

Yapılandırma tamamlandıktan sonra, yerel makinenizde veya sunucunuzda Redis'i başlatın. Ardından Celery worker'ını ve Beat zamanlayıcısını başlatın. Bir üretim ortamında bunlar ayrı sistem hizmetleri olarak (örneğin systemd veya Docker Compose kullanarak) çalıştırılmalıdır.

# Terminal 1: Worker'ı başlat
celery -A tasks worker --loglevel=info

# Terminal 2: Zamanlayıcıyı başlat
celery -A tasks beat --loglevel=info

Worker ve beat süreçlerini ayırarak, zamanlayıcının hafif ve duyarlı kalmasını, worker'ların ise yürütmeye odaklanmasını sağlarsınız.

Üretim İçin En İyi Uygulamalar

İzleme: Celery kurulumunuzun yanına her zaman Flower dağıtın. Görev başarı oranlarını, gecikmeleri ve worker sağlığını izlemek için gerçek zamanlı bir pano sağlar.
Hata Yönetimi: Geçici hataları zarifçe ele almak için üssel geri çekilme (exponential backoff) ile sağlam yeniden deneme mantığı uygulayın.
Saat Dilimleri: Görevlerin farklı coğrafi bölgelerde çalıştığında kafa karışıklığı yaratmaması için timezone ve enable_utc ayarlarını her zaman açıkça belirtin.
Özgün İşlevsellik (Idempotency): Görevlerinizin özgün işlevsel olmasını sağlayın. "En az bir kez" teslimat garantilerine rağmen, ağ sorunları görevlerin tekrarlı olarak teslim edilmesine neden olabilir.

Sonuç

Sistem cron'undan Celery Beat ve Redis'e geçiş, sağlam ve ölçeklenebilir Python arka uçları oluşturmaya yönelik önemli bir adımdır. Başlangıç kurulumu basit bir crontab satırından daha fazla yapılandırma gerektirse de, güvenilirlik, izleme ve dağıtık yürütme açısından sağladığı avantajlar benzersizdir. En iyi uygulamaları takip ederek ve mesaj aktarıcısı olarak Redis'in gücünden yararlanarak, ağır yükler altında bile arka plan görevlerinizin sorunsuz çalışmasını sağlayabilirsiniz.