Technical Tutorials

يُعد Apache Kafka العمود الفقري للبنى المعمارية الحديثة القائمة على الأحداث، لكن قوته تأتي معقدة. من أكثر الجوانب تحديًا للمطورين إدارة إعادة توازن مجموعات المستهلكين وتحقيق دلالات المعالجة مرة واحدة بالضبط. في العناقيد الموزعة، يمكن أن تؤدي هذه المشكلات إلى تكرار الرسائل، فقدان البيانات، أو توقف كبير إذا لم تتم معالجتها بشكل صحيح. تستكشف هذه الدليل استراتيجيات متقدمة للتخفيف من هذه المشكلات وتحسين نظام Kafka الخاص بك.

فهم إعادة توازن مجموعات المستهلكين

عندما ينضم مستهلكون إلى مجموعة أو يغادرونها، أو عند إنشاء مواضيع أو حذفها، يُطلق Kafka عملية إعادة توازن. خلال هذه العملية، يتم إعادة حساب توزيع الأقسام على المستهلكين. وعلى الرغم من ضرورة ذلك لتحقيق توازن الأحمال، إلا أن عمليات إعادة التوازن يمكن أن تسبب سيناريوهات "إيقاف العالم" حيث تتوقف جميع المستهلكين عن الاستهلاك بانتظار التوزيعات الجديدة.

تتضمن بروتوكولات إعادة التوازن التقليدية (مثل البروتوكول الكلاسيكي) عدة رحلات ذهابًا وإيابًا بين المستهلكين والمنسق. لتقليل هذا العبء، قدم Kafka بروتوكول إعادة التوازن التعاونية التدريجية. يسمح هذا النهج للمستهلكين بالاحتفاظ بتوزيعاتهم الحالية للأقسام التي لا يتم نقلها، مما يقلل بشكل كبير من وقت التوقف.

تحسين زمن استجابة إعادة التوازن

لتقليل تأثير عمليات إعادة التوازن إلى الحد الأدنى، فكّر في ضبط إعدادات المستهلك التالية:

max.poll.interval.ms: تأكد من أن تطبيقك قادر على معالجة الرسائل أسرع من هذا الفاصل الزمني لمنع طرد المستهلك من المجموعة.
heartbeat.interval.ms: حافظ على قيمته منخفضة نسبيًا مقارنة بـ session.timeout.ms للكشف عن الأعطال بشكل أسرع، لكن ليس منخفضًا لدرجة أن تقلبات الشبكة تسبب عمليات إعادة توازن غير ضرورية.

Properties props = new Properties();
props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-advanced-group");
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 300000); // 5 دقائق
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG, 3000); // 3 ثوانٍ
props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, 45000); // 45 ثانية
props.put(ConsumerConfig.REBALANCE_TIMEOUT_MS_CONFIG, 600000); // 10 دقائق
props.put("partition.assignment.strategy", "org.apache.kafka.clients.consumer.CooperativeStickyAssignor");

تحقيق دلالات المعالجة مرة واحدة بالضبط

تضمن دلالات المعالجة مرة واحدة بالضبط (EOS) أن يتم معالجة كل رسالة مرة واحدة بالضبط، حتى في حالة حدوث أعطال. يحقق Kafka ذلك من خلال مزيج من المنتجين القادرين على التكرار (Idempotent Producers) وواجهات برمجة التطبيقات المعاملية (Transactional APIs).

المنتجون القادرون على التكرار

يمنع تفعيل خاصية القدرة على التكرار (Idempotence) الرسائل المكررة الناتجة عن إعادة محاولات المنتج. اضبط enable.idempotence=true في إعدادات منتجك. يتطلب هذا acks=all و min.insync.replicas=2 (أو أكثر) على جانب الخادم (Broker) لضمان المتانة.

الرسائل المعاملية

للدورات الشاملة المعقدة التي تحتاج فيها إلى الإنتاج بشكل ذري إلى مواضيع متعددة أو الإنتاج والتزام إزاحات المستهلك، استخدم معاملات Kafka. يتطلب هذا تحديد معرّف معاملي (Transactional ID) لكل نسخة من المنتج.

Properties producerProps = new Properties();
producerProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka:9092");
producerProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
producerProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
producerProps.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true);
producerProps.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "tx-id-001");

KafkaProducer producer = new KafkaProducer<>(producerProps);
producer.initTransactions();

try {
    producer.beginTransaction();
    
    // الإنتاج بشكل ذري إلى مواضيع متعددة
    producer.send(new ProducerRecord<>("topic-a", "key1", "value1"));
    producer.send(new ProducerRecord<>("topic-b", "key2", "value2"));
    
    // التزام إزاحات المستهلك ضمن نفس المعاملة
    consumer.commitSync(Map.of(topicPartition, new OffsetAndMetadata(offset)));
    
    producer.commitTransaction();
} catch (Exception e) {
    producer.abortTransaction();
}

اعتبارات عملية للعناقيد الموزعة

عند تنفيذ EOS في العناقيد الكبيرة، كن على دراية بالآتي:

1. حدود حجم المعاملات: حافظ على معاملات صغيرة. تزيد المعاملات الكبيرة من مخاطر انتهاء المهلة الزمنية وتتطلب ذاكرة كبيرة على المنسق. 2. اتساق مفاتيح الأقسام: تأكد من أن المفتاح نفسه يظل دائمًا مرتبطًا بالقسم نفسه للحفاظ على الترتيب وتبسيط خاصية القدرة على التكرار. 3. المراقبة: راقب مقاييس kafka:transaction-coordinator للكشف عن الاختناقات في المعالجة المعاملية.

الخاتمة

إن إتقان إعادة توازن مجموعات المستهلكين ودلالات المعالجة مرة واحدة بالضبط أمر أساسي لبناء تطبيقات Kafka موثوقة وعالية الأداء. من خلال الاستفادة من إعادة التوازن التعاونية وواجهات برمجة التطبيقات المعاملية، يمكنك تقليل وقت التوقف وضمان سلامة البيانات. اضبط دائمًا إعداداتك بناءً على حمل العمل المحدد لديك وراقب مقاييس عناقيدك لاكتشاف المشكلات قبل أن تؤثر على تطبيقك. بهذه الاستراتيجيات المتقدمة، يمكنك إطلاق كامل إمكانات Kafka في أنظمة الموزعة الخاصة بك.