تقدير المشروع
← كل المقالات

هل متابِعات النسخ في Apache Kafka متزامنة أم غير متزامنة؟

نظرة مفصّلة على كيفية عمل النسخ المتماثل في Apache Kafka مقارنةً بدلالات الإقرار (commit)، توضّح الفرق بين متابِعات ISR ومراقبات (observers) Confluent.

8 دقائق قراءة
KafkaApache Kafkaconfluentالنسخ المتماثل

هل تنسخ النسخ المتابِعة (follower replicas) في Apache Kafka البيانات بصورة متزامنة أم غير متزامنة؟

يبدو السؤال بسيطًا، لكنه أحد موضوعات Kafka التي تبدو فيها المصادر المختلفة كثيرًا وكأنها تقول أشياء متعاكسة. فكثير من دورات Kafka التدريبية ودورات الشهادات والشروحات التمهيدية تذكر أن النسخ المتماثل في Kafka غير متزامن. في المقابل، تشير وثائق Confluent Platform حول المجموعات متعددة المناطق (Multi-Region Clusters) ومعماريات مراكز البيانات المتعددة إلى نسخ متزامنة وأخرى غير متزامنة. ففي مصطلحات توزيع النسخ (replica placement)، تكون replicas نسخًا متزامنة، بينما تكون observers نسخًا غير متزامنة.

إذن، أي الإجابتين صحيحة؟

باختصار: الأمر يعتمد على ما تقصده

من منظور آلية النسخ المتماثل منخفضة المستوى، تنسخ متابِعات Kafka البيانات بجلبها من القائد (leader). وقد تتأخر عنه، وتخرج من ISR، ثم تلحق به لاحقًا. وبهذا المنظور يصبح من المنطقي أن يصف الناس النسخ المتماثل للمتابِعات في Kafka بأنه غير متزامن.

ومن منظور دلالات الإقرار (commit) والمتانة (durability) في Kafka، فإن المتابِعات التابعة لـ مجموعة النسخ المتزامنة، أي ISR تقع على مسار الكتابة المتزامن كلما استخدم المنتجون acks=all. وتُعدّ الرسالة مُقَرّة (committed) فقط عندما تتحقق متطلبات ISR. وبهذا المنظور تكون متابِعات Kafka في ISR نسخًا متزامنة.

ويزداد هذا التمييز أهمية في معماريات المجموعات الممتدة ومراكز البيانات 2.5 في Confluent Platform، حيث تُحدَّد المصطلحات بوضوح: النسخ العادية نسخ متزامنة، والمراقبات (observers) نسخ غير متزامنة افتراضيًا.

مصدر الالتباس

ينشأ الالتباس عادةً لأن كلمة واحدة، متزامن، تُستخدم للإجابة عن سؤالين منفصلين:

  1. كيف تُنسخ البيانات فعليًا بين الوسطاء (brokers)؟
  2. في أي لحظة تُعدّ الكتابة مُقَرّة أو مؤكَّدة؟

آلية النسخ: لماذا يبدو Kafka غير متزامن

عند النظر إلى السؤال الأول، يبدو النسخ المتماثل في Kafka غير متزامن. فالمتابِعات تسحب السجلات من القائد. ولا يدفع القائد كل سجل إلى كل متابِع عبر بروتوكول متزامن الخطوات على طريقة الإقرار ثنائي المرحلة (two-phase commit). ويمكن للمتابِعات أن تتأخر مؤقتًا عن القائد. وقد يكون المتابِع حيًا لكنه لم يلحق بالقدر الكافي. ويمكن إخراج المتابِع من ISR ثم عودته لاحقًا بعد أن يلحق.

ولهذا كثيرًا ما تصف المواد التدريبية النسخ المتماثل في Kafka بأنه غير متزامن: فهي تتحدث عن كيفية نقل البيانات.

دلالات الإقرار: لماذا متابِعات ISR متزامنة

أما السؤال الثاني فيقود إلى إجابة مختلفة. فتوثيق التصميم في Kafka نفسه ينص على أن الرسالة تُعدّ مُقَرّة فقط بعد أن تطبّقها كل نسخة في ISR الخاصة بذلك التقسيم (partition) على سجلها. ويضيف توثيق Kafka 4.3 أن المستهلكين لا يرون الرسائل إلا بعد نسخها إلى جميع النسخ المتزامنة وتحقق شرط min.insync.replicas. راجع توثيق Apache Kafka 4.3 حول دلالات تسليم الرسائل وmin.insync.replicas.

وبذلك لا تكون العبارة الدقيقة مجرد «متابِعات Kafka غير متزامنة» أو «متابِعات Kafka متزامنة». بل الأفضل صياغتها هكذا:

ميكانيكيًا، يبدو النسخ المتماثل للمتابِعات في Kafka غير متزامن، لأن المتابِعات تجلب البيانات وقد تتأخر، لكن عندما يستخدم المنتج acks=all، تشارك متابِعات ISR في دلالات إقرار متزامنة.

ما الذي يحدث فعلًا أثناء الكتابة في Kafka

لكل تقسيم موضوع (topic partition) في Kafka نسخة قائدة واحدة وصفر أو أكثر من النسخ المتابِعة. يكتب المنتجون إلى القائد، الذي يحدد ترتيب السجلات في سجل التقسيم. وتنسخ المتابِعات سجل القائد.

بصورة مبسّطة، يسير مسار الكتابة هكذا:

  1. يرسل المنتج طلب إنتاج إلى قائد التقسيم.
  2. يُلحق القائد السجلات بسجله المحلي.
  3. تجلب النسخ المتابِعة السجلات من القائد.
  4. يتتبع Kafka أي النسخ لحقت بالقدر الكافي؛ وتشكّل معًا ISR.
  5. بمجرد استيفاء متطلبات الإقرار المبنية على ISR، تتقدم العلامة العليا (high watermark).
  6. يقرأ المستهلكون السجلات المُقَرّة فقط.
  7. مع acks=all، لا يحصل المنتج على إقرار ناجح إلا بعد أن تستوفي الكتابة متطلبات ISR.

والنقطة الأساسية أن النسخ المسندة لا تؤدي كلها الدور نفسه في كل وقت. فالمتابِع داخل ISR يساهم في ضمان المتانة. أما المتابِع خارج ISR فيبقى نسخة، لكنه لم يعد يشارك في قرار الإقرار الحالي.

وهنا يأتي دور min.insync.replicas. فبحسب توثيق إعدادات الوسيط في Kafka 4.3، يحدد min.insync.replicas الحد الأدنى لعدد النسخ المتزامنة، بما فيها القائد، اللازم لنجاح الكتابة عندما يضبط المنتج acks=all أو acks=-1. ويضيف أنه مع acks=all يجب أن يقرّ كل أعضاء ISR الحاليين الكتابة قبل اعتبارها ناجحة. راجع min.insync.replicas في إعدادات وسيط Kafka 4.3.

لنأخذ مثلًا موضوعًا مضبوطًا بما يلي:

replication.factor=3
min.insync.replicas=2
producer acks=all

عندما تحتوي ISR على نسخ كافية، يستطيع Kafka إقرار الكتابة بمجرد استيفاء قواعد ISR. وعندما ينخفض ISR دون min.insync.replicas، يحصل المنتج على خطأ بدلًا من إقرار ناجح. وهذه هي المفاضلة بين المتانة والتوافر التي يحكمها acks وmin.insync.replicas.

لماذا توصف المتابِعات غالبًا بأنها غير متزامنة

تُوصف المتابِعات عادةً بأنها غير متزامنة لأن Kafka لا يشترط أن تكون كل نسخة مسندة محدّثة بالكامل في كل لحظة.

وتدعم هذا الرأي عدة حقائق:

  • تجلب المتابِعات البيانات من القائد.
  • قد تتأخر المتابِعات عن القائد.
  • يمكن إخراج المتابِعات التي لم تلحق بالقدر الكافي من ISR.
  • يمكن للمتابِعات أن تلحق لاحقًا وتعود إلى ISR.
  • قد يختار المنتجون أنماط إقرار أضعف، مثل acks=1، حيث يقرّ القائد بعد كتابته المحلية دون انتظار نسخ المتابِعات للبيانات.

وبهذه الزاوية تكون عبارة «النسخ المتماثل في Kafka غير متزامن» معقولة – فهي تصف كيف يعمل النسخ ميكانيكيًا.

لكن هذه العبارة تصبح مضللة إذا أغفلت ISR وإقرارات المنتج. فمع acks=all، لا يكون المتابِع المتزامن مجرد نسخة سلبية تُحفظ في الخلفية. بل هو جزء من الشرط الذي يجب استيفاؤه قبل أن يحصل المنتج على إقرار ناجح وقبل أن يصبح السجل مرئيًا كبيانات مُقَرّة.

وللدقة:

متابِعات Kafka ليست متزامنة بمعنى النسخ الفعلي بتناسق تام خطوة بخطوة. لكنها متزامنة بمعنى أنه في كتابات acks=all تنتمي متابِعات ISR إلى مسار الإقرار.

لماذا تسمّي وثائق Confluent لمراكز البيانات 2.5 المتابِعات متزامنة

تجعل المجموعات متعددة المناطق في Confluent Platform المصطلحات أسهل فهمًا.

تضيف Confluent نوعًا ثالثًا من النسخ، هو المراقب (observer). فقد كان لدى Kafka تقليديًا قادة ومتابِعون؛ وتُدخل المجموعات متعددة المناطق المراقبات فوق ذلك. لا تنضم المراقبات إلى ISR افتراضيًا، لكنها، مثل المتابِعات، تحاول مجاراة القائد.

وهذا هو الفرق الجوهري:

  • النسخة العادية داخل ISR هي نسخة متزامنة.
  • المراقب هو، افتراضيًا، نسخة غير متزامنة.

بحسب توثيق Confluent، تتيح المراقبات النسخ غير المتزامن لأنها، افتراضيًا، تبقى خارج ISR. فلا يضطر القائد إلى انتظار المراقبات قبل إقرار الطلب للمنتج. راجع قسم Observers في توثيق Confluent.

وتُستخدم المصطلحات نفسها في توزيع النسخ. فالحقل replicas يحمل قيود النسخ المتزامنة، والحقل observers يحمل قيود النسخ غير المتزامنة. ويصف أحد أمثلة Confluent موضوعًا بثلاث نسخ متزامنة في رف (rack) واحد ومراقبَين في رف مختلف. ويحصل المنتج الذي يستخدم acks=all على إقرار بمجرد أن تنسخ النسخ المتزامنة الرسالة؛ وتنسخ المراقبات البيانات أيضًا، لكن القائد لا ينتظرها.

ولهذا قد تصف مواد Confluent المتابِعات بأنها متزامنة والمراقبات بأنها غير متزامنة. فهي لا تقول إن المتابِعات لا تتأخر أبدًا. بل تصنّف النسخ بحسب ما إذا كانت تشارك عادةً في مسار الإقرار المبني على ISR.

سياق المجموعة الممتدة على 2.5 مركز بيانات

في Confluent Platform، تتكون معمارية المجموعة الممتدة على 2.5 مركز بيانات من مركزَي بيانات كاملَي الوظائف ومركز بيانات خفيف، أو «0.5».

يستضيف مركزا البيانات الكاملان عقد Confluent Server مضبوطة كوسطاء ومتحكمات. ويستضيف الموقع الثالث الخفيف مجموعة فرعية من عقد متحكمات KRaft للحفاظ على نصاب المتحكمات. وهو ليس مركز بيانات كاملًا بسعة وسطاء مساوية لسعة الموقعين الآخرين.

وفي هذه المعمارية، تصف Confluent هدف نقطة الاسترداد (RPO) بأنه يعتمد على الإعدادات. وبحسب التوثيق، يتطلب تحقيق RPO=0 وجود نسخ في مركزَي بيانات على الأقل، ويجب أن يتجاوز min.insync.replicas عدد النسخ في أي مركز بيانات منفرد. ويشير التوثيق أيضًا إلى أن على المنتجين استخدام acks=all لكي ينجح ذلك. راجع توثيق Confluent Platform حول Stretched Cluster 2.5 Data Center.

وفي هذا السياق تصبح كلمة «متزامن» حاسمة للأعمال. فإذا لم يجز إقرار الكتابة إلا بعد أن تحفظها نسخ كافية في مراكز بيانات مختلفة، فإن تلك النسخ متزامنة فيما يتعلق بـ RPO=0. وتعتمد المجموعة على دلالات الإقرار المبنية على ISR لضمان أن الكتابة الناجحة تنجو من فقدان مركز بيانات بأكمله.

ويمكن أن تظل المراقبات قيّمة في هذه المعمارية، خاصةً مع الترقية التلقائية للمراقب. لكنها افتراضيًا ليست في ISR ولا جزءًا من مسار إقرار المنتج المعتاد. وهي توفر نسخة غير متزامنة يمكن أن تساعد في سيناريوهات تبديل الأعطال (failover) والاسترداد دون فرض كلفة زمن الاستجابة نفسها على كل كتابة.

الخلاصة

إذن، هل تنسخ متابِعات Apache Kafka البيانات بصورة متزامنة أم غير متزامنة؟

أدق إجابة هي:

من حيث آلية النسخ، متابِعات Kafka غير متزامنة، لكن من حيث دلالات الإقرار لكتابات acks=all، متابِعات ISR متزامنة.

وهذا يحل التناقض الظاهري بين مواد Kafka التدريبية الشائعة وتوثيق المجموعات متعددة المناطق في Confluent.

تقول المواد التدريبية «غير متزامن» في كثير من الأحيان لأن المتابِعات تجلب من القائد، وقد تتأخر، وقد تلحق لاحقًا. وهذا حديث عن كيفية حدوث النسخ فعليًا.

أما توثيق Confluent فيسمّي replicas متزامنة وobservers غير متزامنة لأنه يصنّف النسخ بحسب مشاركتها في مسار الإقرار المبني على ISR. وهذا حديث عن دلالات الإقرار والمتانة متعددة المناطق.

وفي مجموعة Kafka العادية، المصطلح الجوهري هو ISR. وفي مجموعة Confluent متعددة المناطق، التمييز الجوهري هو النسخة مقابل المراقب.

وللتلخيص باختصار:

آلية النسخ في Kafka تعتمد السحب وقد يظهر فيها تأخر، ولهذا كثيرًا ما تُسمّى غير متزامنة. لكن عندما يستخدم المنتجون acks=all، تنتمي النسخ المتابِعة المتزامنة إلى مسار الإقرار المتزامن في Kafka. ولهذا تُعدّ المتابِعات في معماريات Confluent للمجموعات الممتدة ومراكز البيانات 2.5 نسخًا متزامنة، والمراقبات نسخًا غير متزامنة.

روابط التوثيق