النسخ المتماثلة المؤهلة للقيادة (ELR) في Kafka 4.1: الأساسيات
شرح مفصّل لـ KIP-966 والنسخ المتماثلة المؤهلة للقيادة (ELR) في Apache Kafka 4.1. تعرّف كيف يسدّ التمييز بين النسخ المتماثلة المتزامنة (in-sync) والنسخ التي يمكنها تولّي القيادة بأمان حالة «آخر نسخة متبقية» (Last Replica Standing) ويمنع فقدان البيانات بعد الإيقاف غير النظيف للوسطاء (brokers).
الحالات الحدّية موجودة في كل مكان في الأنظمة الموزَّعة، وKafka ليس استثناءً – فقد كان هناك تسلسل بالغ الندرة من الأحداث يمكن فيه أن تختفي حتى الرسائل المؤكَّدة (committed). وقد دفع ذلك KIP-966 إلى إدخال النسخ المتماثلة المؤهلة للقيادة (Eligible Leader Replicas, ELR) – وهي آلية تعالج أهلية القيادة بالتمييز بين «النسخ المتماثلة المتزامنة» و«النسخ المتماثلة التي يمكنها أن تصبح قائدًا بأمان». لنلقِ نظرة أقرب!
كيف كان يمكن لـ Kafka أن يفقد بيانات مؤكَّدة
أفترض هنا أنك تعرف أساسيات Kafka وتفهم ضمان المتانة (durability) فيه.
يعالج KIP-966 حالة حدّية متطرفة كان يمكن أن تكسر فعلًا ضمانات المتانة في Kafka. فحتى مع إعداد صحيح وأشد إعدادات المنتِج (producer) صرامة، acks=all، كان يمكن أن تضيع الرسائل المؤكَّدة عندما يتزامن إيقاف غير نظيف مع مشكلة آخر نسخة متبقية. احتمال مصادفة هذا التسلسل بالذات ضئيل، لكن الخطر كان جسيمًا بما يكفي لتبرير تحسين منطق التبديل عند الفشل (failover) في Kafka. ولفهم ما دفع إلى KIP-966، لنستعرض السيناريوهين التاليين بالتفصيل:
سيناريو الإيقاف غير النظيف
عند الإيقاف السليم، يفرغ Kafka حالته، فيكتب إلى القرص أي بيانات مخزّنة مؤقتًا في الذاكرة وفي ذاكرة الصفحات المؤقتة (page cache) لنظام التشغيل، ويحرر جميع الموارد بنظافة. أما الإيقاف غير النظيف، فيحدث عندما يُقتل الوسيط (broker) فجأة، مثلًا بسبب انقطاع الكهرباء أو عطل في جهاز الخادم. في هذه الحالة، قد تكون بعض السجلات في ذاكرة الصفحات المؤقتة لنظام تشغيل Kafka دون أن تُحفظ على القرص بعد. لا يفرغ Kafka إلى القرص قبل اعتبار الرسالة مؤكَّدة – فذلك مكلف للغاية – بل يفرغ بشكل غير متزامن على دفعات. توجد إعدادات مثل log.flush.interval.messages أو log.flush.interval.ms، لكن النصيحة الافتراضية هي تركها دون ضبط والاعتماد على التفريغ الخلفي لنظام التشغيل، لأنه أكثر كفاءة.
ونتيجة لذلك، بعد إيقاف غير نظيف وما يليه من استعادة، قد يعود الوسيط بسجل أقصر مما كان لديه قبل الانهيار.

في التشغيل العادي – عندما يكون لدى الوسيط نسخ متماثلة أخرى سليمة ومتزامنة (ISR) – يتعامل Kafka مع ذلك بسلاسة بجعل إحدى النسخ المتماثلة السليمة المتزامنة (ISR) المتبقية قائدًا. وبمجرد أن ينضم الوسيط المنهار إلى العنقود مجددًا، تُزامَن مقاطع سجله تلقائيًا لتطابق حالة القائد الحالي.
مشكلة آخر نسخة متبقية (Last Replica Standing)
مع الإيقاف غير النظيف، توجد حالة حدّية متطرفة واحدة يمكن فيها فقدان بيانات مؤكَّدة. وهي تحدث في حالة آخر نسخة متبقية (Last Replica Standing, LRS) – عندما يحتوي الوسيط الذي أصابه الإيقاف غير النظيف على النسخة الوحيدة المتبقية في ISR. وقد يحدث ذلك عندما تخرج النسخ الأخرى الواحدة تلو الأخرى خلال وقت قصير جدًا، مثلًا بسبب مشكلات في الشبكة.
قد تفكر: «مع acks=all سنضبط بالتأكيد المعامل min.insync.replicas أيضًا – وبالتالي مع بقاء نسخة واحدة فقط متزامنة، ينبغي أن يرفض Kafka قبول البيانات». هذا صحيح – لكن للبيانات الجديدة فقط. المشكلة الفعلية تتعلق ببيانات أُكِّدت وأُقِرَّ بها بالفعل (بينما كانت جميع الوسطاء سليمة) لكنها لم تُفرَّغ إلى القرص بعد.
لا يسمح سلوك Kafka القديم بأن تصبح قائمة ISR فارغة أبدًا – ولذلك، هنا، بمجرد عودة العنقود كله إلى العمل، يظل القائد الذي انهار للتو (آخر نسخة متبقية) يُعدّ المصدر الوحيد الصالح للحقيقة ويُنتخَب قائدًا من جديد. ولأنه فقد ذاكرة صفحاته المؤقتة في الإيقاف غير النظيف، فإن النسخ السليمة – التي تملك فعلًا البيانات المؤكَّدة كاملة وسليمة ومحفوظة بأمان على القرص – يتعين عليها النسخ منه واقتطاع سجلاتها الصحيحة.
كيف يمكن أن تكون نسخة متماثلة محدَّثة تمامًا ومع ذلك خارج ISR؟ يمكن أن تخرج النسخة من ISR لا بالتأخر فحسب، بل أيضًا بكونها غير قابلة للوصول مؤقتًا – بسبب مشكلات الشبكة، أو توقفات طويلة لمجمّع النفايات (garbage collector) في JVM، أو تعثرات قصيرة في إدخال/إخراج القرص، وهكذا. ويمكن لأي من ذلك مقاطعة طلبات الجلب (fetch) المرسلة إلى القائد. فإذا لم ترسل النسخة التابعة طلب جلب ضمن النافذة المحددة بالمعامل replica.lag.time.max.ms، يُخرجها القائد من ISR للحفاظ على سلامة نصاب النسخ المتماثل النشط، حتى لو لحق سجل النسخة بالقائد تمامًا.
وللتأكيد مرة أخرى، هذه حالة حدّية متطرفة. ولكي يحدث فقدان عالمي كهذا للبيانات، يجب أن يفشل كل شيء في الوقت نفسه:
- تُخرج مشكلات الشبكة الوسطاء واحدًا تلو الآخر حتى يبقى واحد فقط (وقد يستغرق ذلك أجزاء من الثانية).
- يمرّ ذلك الوسيط الأخير (في حالة LRS) بإيقاف غير نظيف قبل تفريغ ذاكرته المؤقتة إلى القرص (وهذا يستغرق ثوانيَ).
- تعود الوسطاء السليمة إلى العنقود لكن يتعين عليها التخلص من بياناتها الصحيحة لتطابق حالة القائد التالف.
بافتراض إعداد Kafka المحدد هذا:
- ثلاث نسخ متماثلة (الوسطاء 0 و1 و2)
min.insync.replicas=2- منتِجون مضبوطون على
acks=all.
قد يبدو التسلسل هكذا:

التغييرات الرئيسية في KIP-966
لحل مشكلة «آخر نسخة متبقية»، يقسّم KIP-966 مهام قائمة النسخ المتماثلة المتزامنة (ISR) السابقة. لكن قبل النظر في حالات النسخ الجديدة، يجب أن نغطي شرطًا مسبقًا أساسيًا: إصلاحًا مطلوبًا لآلية العلامة المائية العليا (High Watermark) في Kafka.
إصلاح كيفية تقدّم العلامة المائية العليا
يجلب KIP-966 إصلاحًا صغيرًا لكيفية تقديم Kafka للعلامة المائية العليا (High Watermark, HWM) – وهي آخر إزاحة (offset) مؤكَّدة عبر جميع النسخ المتماثلة المتزامنة. يستخدم المستهلكون (consumers)، مثلًا، الـ HWM للتأكد من أنهم لا يقرؤون أبدًا بيانات لم تُنسخ بأمان بعد.

المصدر: Kafka The Definitive Guide
منذ KIP-966، لا يجوز للعلامة المائية العليا أن تتقدم إلا عندما يكون حجم ISR >= min.insync.replicas.
والسبب أن Kafka لا يقيّد الموضوع (topic) بإعداد acks معيّن – فـ acks إعداد للمنتِج وليس للوسيط. ويمكن لعدة عملاء الكتابة إلى الموضوع نفسه في Kafka في آنٍ واحد بإعدادات مختلفة.
قبل هذا التغيير، عندما كان ISR الخاص بالموضوع ينخفض دون min.insync.replicas:
- كان المنتِجون الذين يستخدمون
acks=allيُحظَرون. - وكان المنتِجون الذين يستخدمون
acks=0 or 1يستطيعون مواصلة الكتابة.
في سيناريو «آخر نسخة متبقية» لدينا، كان هذا يعني أن القائد المنفرد يواصل قبول كتابات acks=1 وتقديم العلامة المائية العليا على بيانات غير آمنة. ولو حاول Kafka لاحقًا انتخاب وسيط احتياطي سليم لحماية بيانات acks=all، لافتقر ذلك الاحتياطي إلى أحدث رسائل acks=1، فيتعين أن تتراجع الـ HWM إلى الخلف، مما يكسر المستهلكين.
يحل KIP-966 ذلك بتحويل min.insync.replicas إلى قاعدة عامة للعلامة المائية العليا، أيًّا كان إعداد acks الذي يستخدمه المنتِج. وقاعدة HWM هذه هي الافتراضية ابتداءً من Kafka v4.0.
النسخ المتماثلة المؤهلة للقيادة
قبل النسخ المتماثلة المؤهلة للقيادة، كانت النسخة المتماثلة في Kafka تكون في حالتين فقط: داخل ISR (موثوقة) أو خارجه (غير موثوقة).
تقع ELR بين الاثنتين. ظهرت كميزة تجريبية في Kafka v4.0 وأصبحت الافتراضية في v4.1 (ولذلك تنطبق على KRaft فقط، لا ZooKeeper) – وهي قائمة ثانوية بالنسخ المتماثلة التي أُخرجت من ISR بينما كان النصاب دون min.insync.replicas. ويحدث هذا عادةً بسبب انقسامات الشبكة (network partitions) أو العزل (fencing) – وهي آلية أمان تعزل وسيطًا لا يستجيب كي لا يجري تحديثات متعارضة. ومع أن هذه النسخ ليست في ISR، فقد كانت لديها بيانات حتى العلامة المائية العليا لحظة إضافتها إلى ELR.

على حد تعبير KIP-966:
«ما نريده في النهاية هو القدرة على انتخاب قائد دون فقدان بيانات أو تحريك الـ HWM إلى الخلف ما دام عدد حالات الإيقاف غير النظيف لا يتجاوز min.ISR-1.»
وخلاصة القول، تُقسَّم الآن مسؤوليات ISR الأصلية، وتكون كل نسخة متماثلة في إحدى هذه الحالات:
- ISR (النسخ المتماثلة المتزامنة): كما كان سابقًا، مع
acks=all، تعمل كنصاب نشط لنسخ البيانات. ولا تتقدم العلامة المائية العليا إلا حتى النقطة التي كتب عندها كل عضو في ISR. - ELR (النسخ المتماثلة المؤهلة للقيادة): تعمل كقائمة احتياطية لانتخاب القائد، وتضم نسخًا معروفة بأنها مرشحة آمنة للقيادة بالنسبة إلى العلامة المائية العليا المجمَّدة.
- خارج ISR/ELR: نسخ غير موثوقة متأخرة ولا يمكن انتخابها قائدًا دون خطر فقدان البيانات.
ومن الجدير تأكيده مرة أخرى: لا توجد ELR إلا عندما يكون ISR < min.insync.replicas. وفي كل حالة أخرى، تُمسح قائمة ELR وتبقى فارغة.
تحسينات أخرى في KIP-966
لنتأمل التحسينات الأخرى عن كثب.
التعرّف على الإيقاف غير النظيف
يجعل KIP-966 أيضًا Kafka أفضل في التمييز بين الإيقاف النظيف وغير النظيف. حاليًا، أثناء الإيقاف السليم، يفرغ الوسيط سجلاته ويكتب CleanShutdownFile على القرص – وهو ملف JSON صغير يحمل العصر (epoch) الحالي للوسيط. وعند بدء التشغيل التالي، يقرأ الوسيط هذا الملف ويضمّن العصر المحفوظ في طلب تسجيله لدى وحدة تحكم KRaft. فإذا طابق العصر سجل وحدة التحكم، كان الإيقاف نظيفًا. وإذا كان الملف غائبًا أو اختلف العصر، تعامل وحدة التحكم مع الإيقاف على أنه غير نظيف.
لماذا يهم هذا ELR؟ عندما يسجّل وسيط بعد إيقاف غير نظيف، تُخرجه وحدة التحكم من ISR ومن ELR معًا قبل السماح له بالعودة إلى العنقود. وهذا يضمن ألا يبقى وسيط ربما فقد بيانات ذاكرة الصفحات المؤقتة مرشحًا موثوقًا للقيادة بصمت.
الانتخاب الجديد لقائد القسم (partition)
مع تفعيل ELR، تبحث وحدة التحكم أولًا في ISR عن قائد آمن ثم في ELR. وإذا لم يوفر أي منهما مرشحًا متاحًا، فإن الإعداد القائم unclean.leader.election.enable هو ما يحدد ما يحدث بعد ذلك:

يتوقع KIP-966 أيضًا unclean.recovery.strategy جديدة بخيارات Aggressive وBalanced وNone، لكنها لم تُنفَّذ بعد (حتى Kafka 4.3 اليوم) وليس لها إصدار مستهدف، لذا سنتركها جانبًا الآن.
قد تكون ISR فارغة الآن
لم يكن سلوك Kafka القديم يسمح بأن تصبح ISR فارغة. أما KIP-966 فيسمح بـ ISR فارغة. بمجرد أن تبلغ ISR الصفر، قد تحتوي ELR على نسخ معروف أنها تحمل كل البيانات المؤكَّدة حتى العلامة المائية العليا. ويمكن لانتخاب القائد حينئذٍ اختيار إحداها بدلًا من الاعتماد على وسيط كان آخر عضو في ISR لكنه ربما فقد بيانات غير مفرَّغة في إيقاف غير نظيف.
أثر ELR وKIP-966
KIP-966 في معظمه إصلاح داخلي للمتانة، لكنه يجلب بالفعل تغييرات في السلوك قد تلاحظها. لنفحصها من عدة زوايا في Kafka:
من وجهة نظر المنتِج
يعمل المنتِجون بـ acks=all كما كانوا من قبل – يُحظَرون عندما ينخفض ISR دون min.insync.replicas. أما التغيير المهم فيخص acks=0 وacks=1: لأنهما يتجاهلان المعامل min.insync.replicas، يظل القائد يقبل كتاباتهما، لكن تتوقف الـ HWM عن التقدم ما دام ISR متدهورًا. وإذا كتب منتِجون بإعدادات acks مختلفة إلى الموضوع نفسه، فإن هذا يسدّ ثغرة كان يمكن لحركة acks=1 أن تدفع الـ HWM عبرها إلى الأمام على ISR ناقص الحجم، بما يناقض توقعات المتانة الخاصة بـ acks=all.
من وجهة نظر الوسيط
الوسطاء في معظمها غير مدركة لـ ELR – فوحدة تحكم KRaft تحتفظ بها بالكامل في بيانات القسم الوصفية، ولا يزال النسخ المتماثل يتبع ISR كما كان.
ما يتغير هو الطريقة التي يتعامل بها Kafka مع إعادة تشغيل الوسطاء. عند الإيقاف السليم، يفرغ الوسيط سجلاته ويخزّن عصره في CleanShutdownFile. وعند بدء تشغيله مجددًا، تستخدم وحدة التحكم ذلك العصر لتقرر ما إذا كان الإيقاف نظيفًا. وإذا اكتشفت إعادة تشغيل غير نظيفة، تُخرج ذلك الوسيط من ISR ومن ELR معًا.
من وجهة نظر المستهلك
المستهلكون هم العملاء الذين يشعرون بالتغيير بأوضح صورة. فهم لا يرون إلا الرسائل الواقعة دون الـ HWM. وعندما ينخفض حجم ISR دون min.insync.replicas، تتجمد الـ HWM – فتبقى حتى رسائل acks=0/1 المنتَجة حديثًا فوق الـ HWM ولا يمكن قراءتها حتى يتعافى ISR. قبل KIP-966، كان بإمكان المستهلكين مواصلة قراءة الرسائل الجديدة أثناء انقطاعات النسخ المتماثلة الجزئية. ومع KIP-966، يوقف ISR المتدهور فعليًا ما يستطيع المستهلكون رؤيته، لا متانة ما يكتبه المنتِجون فحسب.
مشكلة آخر نسخة متبقية – مع ELR
لنشغّل السيناريو من البداية مرة أخرى بإعداد Kafka نفسه، هذه المرة مع تفعيل آلية ELR:
- ثلاث نسخ متماثلة (الوسطاء 0 و1 و2)
min.insync.replicas=2- منتِجون مضبوطون على
acks=all

في ظل السلوك القديم، أبقى Kafka الوسيط 2 في ISR، فصار قائدًا من جديد بعد إعادة تشغيله. واضطر الوسيطان 0 و1 – اللذان يحملان النسختين الصحيحتين – إلى اقتطاع سجليهما لتطابقا القائد التالف.
مع ELR، تسير الأمور بشكل مختلف:
عندما يخرج الوسيط 0 من ISR، يظل الشرط min.insync.replicas=2 متحققًا – لذلك لا يُضاف إلى ELR. ومع أنه كان قد نسخ حتى الـ HWM عند خروجه، فإن بقية ISR يمكنها مواصلة تحريك الـ HWM إلى الأمام، فلم يعد Kafka واثقًا من أن الوسيط 0 يحمل كل شيء حتى القيمة اللاحقة للـ HWM.
ISR: [0, 1, 2] → [1, 2]
ELR: [] → []
وعندما يخرج الوسيط 1، ينخفض ISR دون min.insync.replicas – وتتوقف الـ HWM عن الحركة. يعرف Kafka أن الوسيط 1 يحمل كل سجل حتى هذه الـ HWM المجمَّدة، فيضيفه إلى ELR.
ISR: [1, 2] → [2]
ELR: [] → [1]
وبمجرد أن ينهار الوسيط 2 ويُعزَل (fenced)، قد ينتهي الأمر بأن تكون ISR فارغة. وعندما تُحلّ مشكلة انقسام الشبكة ويُفكّ العزل عن الوسيطين 0 و1، تختار وحدة التحكم الوسيط 1 من ELR قائدًا وتعيده إلى ISR. وعندما ينضم الوسيط 2 مجددًا لاحقًا، تلاحظ وحدة التحكم إيقافه غير النظيف وتزامنه مع القائد الحالي، الوسيط 1.
وحتى في هذه الحالة الحدّية المتطرفة متعددة الطبقات، يتعافى Kafka وتُحفظ بيانات acks=all المؤكَّدة.
الخلاصة
ما يجعل KIP-966 مثيرًا للاهتمام أنه لا يسرّع Kafka ولا يضيف ميزة جديدة مرئية يتعامل معها المستخدمون كل يوم. معظم المستخدمين لن يصادفوا سيناريو آخر نسخة متبقية في بيئة الإنتاج أبدًا – ومع ذلك كان يمكنه كسر أقوى ضمانات المتانة في Kafka.
تسدّ ELR بصمت حالة حدّية متطرفة وتُدخل تمييزًا مهمًا إلى Kafka: فالنسخة المتماثلة لا تحتاج إلى أن تشارك بنشاط في النسخ المتماثل لتكون الخيار الأكثر أمانًا للقيادة.
إنها خطوة أخرى نحو جعل ضمانات المتانة في Kafka صامدة ليس في التشغيل اليومي فحسب، بل أيضًا في ظل أندر تركيبات الأعطال.