صدور Apache Kafka 4.0.0: KRaft والطوابير وإعادة توازن أسرع
اكتشف الميزات الجديدة ومكاسب الأداء في Kafka 4.0 وتعرّف على كيف يمكن لهذه التغييرات أن تحسّن إعداد بث بياناتك.
نظرة سريعة على Kafka 4.0
في مارس 2025، بلغ Apache Kafka محطة مهمة مع إصدار النسخة 4.0.0. يأتي الإصدار بميزات جديدة وتحسينات وإلغاءات وتحديثات جوهرية. لنستعرض النقاط الرئيسية في Apache Kafka 4.0.0 وننظر في ما تعنيه هذه التغييرات للمطورين ومعماريي الأنظمة ومتكاملي الأنظمة.
وداعًا ZooKeeper، ويحيا KRaft
لسنوات، كان تشغيل Apache Kafka يعني تشغيل عنقود ZooKeeper خارجي أيضًا للتعامل مع البيانات الوصفية للعنقود ومهام مثل انتخاب القائد. وقد جعل هذا المكوّن الإضافي العمليات أكثر تعقيدًا، سواء في الإنتاج أو في التطوير المحلي. وقد انتهى ذلك العهد الآن رسميًا.
KIP-500 – صدر أول مرة كميزة وصول مبكر في Kafka 2.8.0، الذي صدر عام 2021 – أي قبل أربع سنوات بالفعل! وفي الإصدارات التي تلت، نضج KRaft (Kafka Raft) وأصبح جاهزًا للإنتاج واكتسب ميزات ترحيل جعلته مناسبًا للنشر في العالم الحقيقي.
يقوم Kafka 4.0.0 بـ إسقاط دعم ZooKeeper بالكامل. وأصبح KRaft الآن الآلية الافتراضية – والوحيدة – لإدارة البيانات الوصفية في Kafka، مما يغيّر بشكل كبير طريقة تصميم عناقيد Kafka وتشغيلها.
إذا كنت تخطط للانتقال من عنقود قائم على ZooKeeper إلى عنقود قائم على KRaft، فتأكد من قراءة دليل الترحيل الرسمي لمعرفة القيود والأدوات وأفضل الممارسات.
KIP-848: إعادة توازن أذكى وأسرع بفضل بروتوكول مجموعات المستهلكين الجديد
يقدم KIP-848 الجيل التالي من بروتوكول إعادة توازن المستهلكين في Kafka، مغيّرًا جذريًا طريقة إسناد الأقسام (partitions) إلى مجموعات المستهلكين.
وهذا مهم جدًا لعمليات النشر واسعة النطاق، حيث كثيرًا ما تؤدي إعادة نشر التطبيقات أو إعادة تشغيل المستهلكين إلى عمليات إعادة توازن تضر بأداء النظام بإيقاف معالجة الرسائل حتى تكتمل جولة إعادة التوازن بأكملها.
ما الذي اختلف؟
- أصبحت إدارة الأقسام وإسنادها تتم الآن على الوسيط (broker)، الذي يتولى مهام كانت تعود إلى قائد مجموعة المستهلكين.
- أصبح المنطق الداخلي لعميل Kafka أبسط بكثير.
- يمكن للعضو الجديد المنضم إلى مجموعة مستهلكين أن يتلقى أقسامًا جديدة تدريجيًا. وكان عليه سابقًا الانتظار حتى يتخلى كل الأعضاء عن أقسامهم/يعيدوا توازنها، مما كان يزيد زمن استجابة المستهلك دون داعٍ.
يهدف البروتوكول الجديد إلى رفع الأداء بشكل كبير وتقليل وقت التوقف وزمن الاستجابة، خاصة في عمليات النشر الكبيرة.
يمكنك أيضًا مشاهدة عرض Confluent حول هذا الموضوع من Confluent Current 2024.
KIP-932: الطوابير في Apache Kafka 4.0 – معاينة وصول مبكر
أصبح نموذج الرسائل في Kafka، المبني على المواضيع (topics) والأقسام، أساسًا لهندسات الأحداث الحديثة. لكن بعض حالات الاستخدام تتطلب دلالات طوابير أكثر تقليدية، مثل تلك الموجودة في RabbitMQ أو Google Cloud Pub/Sub. فمعالجة الرسائل خارج الترتيب مفيدة عندما قد تفشل معالجة رسالة واحدة مؤقتًا ويجب إعادة المحاولة. وعلى مر السنين، بنت الفرق آليات إعادة محاولة كثيرة مخصصة ومعقدة لتلبية هذه الاحتياجات.
يقدم KIP-932 معاينة لمفهوم الطوابير (Queues) في Kafka 4.0، فاتحًا الباب أمام أنواع من أحمال العمل لم تكن ممكنة من قبل.
ما الذي يقدمه:
- المجموعات المشتركة (Shared groups)، التي تتيح الاستهلاك التعاوني للرسائل.
- دعم إقرارات الرسائل الفردية وإعادة التسليم.
- المعالجة غير المرتبة، المفيدة عندما قد تفشل بعض الرسائل مؤقتًا وتحتاج إلى إعادة المحاولة.
يمثل هذا قفزة كبيرة في تطور Kafka، إذ يحوله إلى خيار واقعي لحالات الاستخدام التي كانت تحتاج إلى نظام طوابير منفصل.
إزالة واجهات API المهجورة ومتطلبات إصدار Java الجديدة
الإصدارات الرئيسية فرصة للترتيب، وينتهزها Kafka 4.0.0 بإزالة واجهات API المهجورة وتحديث المنصة.
التحديثات الرئيسية:
- لم يعد Java 8 مدعومًا.
- تحتاج عملاء Kafka وStreams الآن إلى Java 11+.
- تحتاج وسطاء Kafka وConnect والأدوات إلى Java 17+.
يجعل هذا Kafka متوافقًا مع بيئات تشغيل Java الحديثة، التي توفر أداءً أفضل وخوارزميات GC أفضل ودعمًا طويل الأمد. وبما أن Java 11 موجود منذ 2018 وJava 17 منذ 2021، فكلا الإصدارين مستقر ومعتمد على نطاق واسع.
وهناك تغيير مهم آخر: اختفت إصدارات API القديمة للبروتوكول. أصبحت عملاء Kafka 4.0 بلغة Java تحتاج الآن إلى وسطاء بالإصدار 2.1 أو أحدث. كما أُزيل دعم صيغ الرسائل v0 وv1، مما قد يؤثر على المنتجين أو المستهلكين الأقدم.
الخلاصة
KRaft وبروتوكول إعادة التوازن الجديد وطوابير Kafka هي التحديثات الثلاثة التي تغيّر قواعد اللعبة في Kafka 4.0. ومن الجيد رؤية المنصة تتطور بنشاط، مع تركيز واضح على البساطة والأداء وحالات الاستخدام الجديدة.
تجاريًا، من المتوقع صدور Confluent Platform 8.0 (المبني على Kafka 4.0) في صيف 2025، وسيجلب على الأرجح كثيرًا من هذه الميزات إلى منتجات بمستوى المؤسسات.
هل تخطط لترقية إلى Kafka 4.0 أو تنظر في طوابير Kafka وتحتاج إلى دعم؟
بصفتنا شريكًا مميزًا (Premium Partner) لدى Confluent، يمتلك فريقنا خبرة معمقة في Kafka ويمكنه مساعدتك على طول الطريق – من الترحيل والضبط إلى تصميم الهندسة.