تقدير المشروع
← كل المقالات

التعافي من الكوارث في Apache Kafka والبنى متعددة المناطق: دليل

أنظمة اليوم قائمة على الأحداث، وتعمل في الزمن الحقيقي، وتنتشر عبر أنحاء العالم.

19 دقائق قراءة
البنية المعماريةKafkaApache Kafkaبث البيانات

أنظمة اليوم قائمة على الأحداث، وتعمل في الزمن الحقيقي، وتنتشر عبر أنحاء العالم. وفي كثير من المؤسسات، يعد Apache Kafka أكثر بكثير من مجرد مكوّن آخر – فهو العمود الفقري الذي ينقل البيانات بين الخدمات والفرق والمناطق.

وعندما يتوقف Kafka، كثيرًا ما تتوقف الأعمال معه.

لا تُعالَج المدفوعات. ولا تُشحن الطلبات. وتتعطل خطوط كشف الاحتيال. وتختفي إشعارات العملاء. وتتأخر التحليلات. وفي القطاعات شديدة التنظيم، قد يؤدي انقطاع الخدمة حتى إلى مخالفات امتثال مكلفة.

ولهذا فإن التعافي من الكوارث والبنى متعددة المناطق في Kafka ليست ميزات “حسنة لو توفرت”. إنها لبنات مركزية في استراتيجية استمرارية الأعمال.

Kafka كمكوّن بنية تحتية حرج

في كثير من البنى المعمارية، يكون Kafka محور:

  • التواصل بين الخدمات المصغّرة
  • أنظمة إسناد الأحداث (event sourcing)
  • خطوط التقاط تغييرات البيانات (CDC)
  • التحليلات في الزمن الحقيقي
  • طبقات استيعاب البيانات في منصات البيانات
  • خطوط ميزات تعلّم الآلة

إن وجود Kafka في هذا الموضع المركزي يجعله قويًا ومحفوفًا بالمخاطر في آن واحد. فعندما تفشل منطقة واحدة ولا يكون Kafka مكرَّرًا (replicated) بشكل صحيح، يكون نطاق الضرر هائلًا.

وبناء أنظمة بلا توقف يعني مواجهة بعض الأسئلة المزعجة:

  • ماذا لو تعطلت منطقة توافر كاملة؟
  • ماذا لو أصبحت منطقة بأكملها غير قابلة للوصول؟
  • ماذا لو بقي العنقود يعمل، لكن الشبكة بين المناطق انقسمت؟
  • ماذا لو حُذف موضوع (topic) عن طريق الخطأ أو تلفت البيانات؟

ولتلبية توقعات الأعمال، يجب أن تغطي بنية سليمة للتعافي من الكوارث في Kafka كل واحد من هذه الأسئلة.

لماذا يهم التعافي من الكوارث وتعدد المناطق في Kafka

كثير من الفرق تعتمد فقط على التكرار داخل العنقود في Kafka وتظن أنها في أمان.

وهي ليست كذلك.

فمعامل التكرار النموذجي في Kafka (مثل ثلاث نسخ موزعة على الوسطاء) يحميك من:

  • فشل وسيط واحد،
  • أعطال الأقراص،
  • انقطاع العقد الفردية.

لكنه لا يوفر أي حماية من:

  • فشل مركز بيانات كامل،
  • انقطاعات تؤثر في منطقة بأكملها،
  • انقسامات الشبكة الكارثية،
  • حوادث لدى مزوّد السحابة.

وهذه هي النقطة التي تصبح عندها بنى Kafka متعددة المناطق ضرورة.

التكلفة الحقيقية لتوقف الخدمة

يجب أن يبدأ أي نقاش حول استراتيجيات التكرار متعدد المناطق في Kafka بالأثر على الأعمال:

  • كم من الإيرادات تكلّفها كل دقيقة من التوقف؟
  • ما مقدار فقدان البيانات الذي يمكن تحمله؟
  • هل تستطيع الأنظمة اللاحقة (downstream) التعامل مع إعادة التشغيل (replay)؟
  • هل تنطبق أي قيود تنظيمية؟

بالنسبة إلى بعض الأنظمة:

  • فقدان بضع ثوانٍ من البيانات مقبول.
  • والتعافي خلال 15-30 دقيقة كافٍ

وبالنسبة إلى أنظمة أخرى:

  • يجب أن يكون فقدان البيانات قريبًا من الصفر.
  • ويجب أن يتم التعافي تلقائيًا.
  • ويجب ألا يكون التحويل عند الفشل (failover) غير مرئي للعملاء.

لا توجد بنية تعافٍ من الكوارث واحدة في Kafka تناسب الجميع.

ابدأ بمتطلبات الأعمال: RPO وRTO

يُعد بناء بنية للتعافي من الكوارث في Kafka دون متطلبات أعمال محددة جيدًا من أكثر الأخطاء شيوعًا وتكلفة التي ترتكبها الفرق.

وقبل أن تقرروا بين البنى active-passive وactive-active وبنى 3-DC أو 2.5-DC، تحتاجون إلى إجابات عن سؤالين أساسيين:

  1. ما مقدار البيانات الذي نستطيع تحمّل فقدانه؟
  2. ما مقدار التوقف الذي نستطيع تحمّله؟

ويقابل هذان السؤالان مباشرة:

  • هدف نقطة التعافي (RPO)
  • هدف زمن التعافي (RTO)

وفي جوهرها، كل بنية Kafka متعددة المناطق هي مفاضلة بين هذين المقياسين والتعقيد التشغيلي.

شرح RPO وRTO

هدف نقطة التعافي (RPO)

يحدد RPO أكبر مقدار مقبول من فقدان البيانات، معبَّرًا عنه بالزمن. وفي التعافي من الكوارث في Apache Kafka، يعود RPO عادةً إلى:

  • كم رسالة يجوز أن تضيع؟
  • كم ثانية (أو دقيقة) من تأخر التكرار يمكن تحمّلها؟
  • هل التكرار غير المتزامن بين المناطق مقبول؟

وفي التكرار متعدد المناطق في Kafka، يعتمد RPO بدرجة كبيرة على:

  • آلية التكرار (MirrorMaker 2 وCluster Linking وغيرهما)،
  • زمن استجابة الشبكة بين المناطق،
  • إعدادات إقرار المنتِج (acks=all مقابل acks=1)،
  • ما إذا كان التكرار يحدث بشكل متزامن أم غير متزامن.

ضعوا في اعتباركم أن معظم إعدادات Kafka التي تكرر البيانات عبر المناطق غير متزامنة، لذلك نادرًا ما يكون RPO صفرًا. وإذا طالبت الأعمال بـ RPO = 0 عبر المناطق، فإن البنية تحتاج إلى تصميم دقيق لدعم ذلك.

هدف زمن التعافي (RTO)

يحدد RTO مدى سرعة تعافي النظام من الفشل.

وفي Kafka، يجيب RTO عن أسئلة مثل:

  • ما مدى سرعة احتياج المنتِجين إلى إعادة الاتصال؟
  • وما مدى سرعة احتياج المستهلكين إلى استئناف المعالجة؟
  • هل التحويل اليدوي عند الفشل مقبول؟
  • وهل لا بأس إذا استغرق تبديل DNS دقائق؟

وفي Kafka، يتوقف RTO على:

  • ما إذا كان إعداد العميل قادرًا على التعامل مع عدة عناقيد،
  • طريقة تكرار الإزاحات (offsets)،
  • طريقة تنسيق التحويل عند الفشل،
  • ما إذا كانت البنية التحتية في المنطقة الثانوية مجهَّزة مسبقًا.

ويتطلب RTO المنخفض عادةً:

  • بنى active-active،
  • تحويلًا تلقائيًا عند الفشل،
  • عناقيد ممتدة (stretched clusters).

أساسيات التكرار في Kafka

قبل أن تصمموا بنية للتعافي من الكوارث في Kafka تمتد عبر عدة مناطق، تحتاجون إلى صورة واضحة عن ضمانات التكرار التي يقدمها Kafka داخل عنقود واحد.

فكثير من القرارات المعمارية تقوم على افتراضات خاطئة عن المتانة والاتساق. لذلك دعونا نوضح ما الذي يضمنه Kafka فعلًا – وفي أي ظروف.

ضمانات التكرار داخل العنقود

يقع تكرار الأقسام (partitions) في صميم نموذج الإتاحة العالية في Kafka. فيمكن أن يكون لكل قسم من أقسام الموضوع عدة نسخ موزعة على الوسطاء:

  • النسخة القائدة (Leader) – تتولى جميع القراءات والكتابات.
  • النسخ التابعة (Follower) – تنسخ البيانات من القائد بشكل متزامن.
  • النسخة المراقِبة (Observer) – نسخة غير متزامنة (متاحة في عمليات نشر Confluent)؛ وسنعود إليها لاحقًا عند تناول العناقيد الممتدة 2.5-DC.

يشكّل القائد مع جميع النسخ التابعة المتزامنة تمامًا مجموعة النسخ المتزامنة (ISR). والتابع الذي يتأخر عن الحدود المضبوطة يُزال من ISR.

وعندما يرسل منتِج رسالة، تتحدد متانتها بـ:

  • معامل التكرار (RF)،
  • إعداد acks،
  • min.insync.replicas،
  • سياسة انتخاب القائد.

لنستعرضها واحدًا تلو الآخر.

معامل التكرار (RF)

يحدد معامل التكرار عدد النسخ الموجودة من كل قسم.

فمثلًا:

Replication factor = 3
Partition P0 → Broker 1 (leader)
                        Broker 2 (follower)
                        Broker 3 (follower)

وعندما يفشل وسيط، يستطيع Kafka اختيار قائد جديد من مجموعة ISR.

لكن معامل التكرار وحده لا يضمن عدم فقدان البيانات.

إقرارات المنتِج (acks)

تعتمد متانة كتابات المنتِج إلى حد كبير على إعداد acks:

  • acks=0 → لا ضمان للمتانة إطلاقًا،
  • acks=1 → القائد وحده يقرّ بالاستلام،
  • acks=all (أو -1) → ينتظر القائد جميع النسخ الموجودة حاليًا في ISR.

وينبغي للأنظمة الإنتاجية التي تحتاج إلى متانة قوية استخدام:

  • acks=all،
  • min.insync.replicas >= 2،
  • replication.factor >= 3.

وهذا يضمن أن تصل الرسالة إلى عدة وسطاء قبل الإقرار بها. ومع ذلك، فإن هذا الإعداد يحميك داخل مركز بيانات واحد فقط.

انتخاب القائد وخطر فقدان البيانات

عندما يفشل القائد، يختار Kafka قائدًا جديدًا من ISR.

مع: unclean.leader.election.enable=false (موصى به)

لا ينتخب Kafka أبدًا نسخة غير متزامنة.

وهذا يمنع فقدان البيانات، وإن كان القسم قد يصبح غير متاح مؤقتًا.

مع: unclean.leader.election.enable=true

قد ينتخب Kafka نسخة قديمة → ويصبح فقدان البيانات ممكنًا.

والأنظمة التي تقدّر المتانة القوية على الإتاحة يجب أن تُبقي الانتخاب غير النظيف للقائد معطّلًا.

التكرار المتزامن مقابل غير المتزامن

الانتقال من بنية Kafka ذات المنطقة الواحدة إلى بنية متعددة المناطق يغيّر نموذج التكرار من جذوره.

داخل العنقود:

  • التكرار منسَّق بإحكام.
  • ويفرض المتحكم (controller) ضمانات ISR.
  • وانتخاب القائد حتمي.

أما بين المناطق فيختلف الأمر بحسب نموذج التكرار الذي تختارونه. لنقارن بين النهجين.

التكرار غير المتزامن عبر المناطق

آليات التكرار متعدد المناطق في Kafka – MirrorMaker 2 وConfluent Replicator وCluster Linking – غير متزامنة.

هنا تنقل عملية التكرار البيانات من العنقود الأساسي إلى الثانوي. ويعني هذا النهج أن:

  • هناك تأخرًا في التكرار،
  • وعند فشل منطقة قد تغيب أحدث الرسائل،
  • والتحويل عند الفشل يتطلب إعادة توجيه العملاء.

المزايا:

  • زمن استجابة أقل للكتابة.
  • إتاحة أعلى من عنقود قياسي محصور في منطقة واحدة.
  • أداء أفضل من التكرار المتزامن.

المفاضلات: نادرًا ما يكون RPO وRTO صفرًا.

وحين نتحدث عن التكرار غير المتزامن عبر المناطق في Kafka، فسنناقش في الغالب بنى active-active أو active-passive (والمراقِبات هي الحالة الحدّية – انظروا العناقيد الممتدة 2.5 DC).

التكرار المتزامن عبر المناطق

مع التكرار المتزامن، لا يُقَرّ بالرسالة إلا بعد كتابتها في عدة مناطق. وهذا يعني RPO = 0، أي لا فقدان للبيانات عند فشل منطقة.

لكن:

  • زمن الاستجابة بين المناطق يرفع زمن الكتابة بشكل كبير.
  • والشبكة غير المستقرة قد تضر بالأداء و/أو الإتاحة.

وحين نتحدث عن التكرار المتزامن عبر المناطق في Kafka، فسنناقش عادةً العناقيد الممتدة:

  • عنقود ممتد 3 DC
  • عنقود ممتد 2.5 DC (Confluent)

نظرة عامة على بنى التعافي من الكوارث في Kafka

بعد تحديد RPO وRTO بوضوح وفهم ضمانات التكرار في Kafka، تكون الخطوة التالية اختيار بنية التعافي من الكوارث المناسبة. لا توجد بنية Kafka متعددة المناطق “أفضل” وحيدة. بل توجد أنماط، كلٌّ منها مضبوط على توازن مختلف بين:

  • الإتاحة،
  • المتانة،
  • زمن الاستجابة،
  • التعقيد التشغيلي،
  • التكلفة.

وأكثر بنى التعافي من الكوارث في Kafka انتشارًا هي:

  • Active-Passive،
  • Active-Active،
  • ثلاثة مراكز بيانات (3-DC)،
  • 2.5-DC مع نسخ مراقِبة.

وسنبدأ بأبسطها.

بنية Kafka من نوع Active-Passive

في بنية active-passive، تعمل منطقة واحدة كمنطقة أساسية وتتولى كل الحركة، بينما تتدخل منطقة ثانوية احتياطية إذا فشلت الأساسية. وتُكرَّر البيانات بين المناطق بشكل غير متزامن باستخدام:

كيف تعمل

يتصل كل منتِج ومستهلك بالعنقود النشط فقط. ويواصل العنقود السلبي (passive) تكرار البيانات لكنه لا يخدم أي حركة ما لم يحدث تحويل عند الفشل.

ماذا يحدث أثناء فشل منطقة؟

عندما تفشل المنطقة A:

  • يتوقف التكرار.
  • يجب إعادة توجيه الحركة إلى المنطقة B – يعيد المنتِجون والمستهلكون الاتصال.
  • يجب التعامل مع استعادة الإزاحات (بطريقة تعتمد على آلية التكرار).

RPO = تأخر التكرار
RTO = زمن الاكتشاف + تنسيق التحويل عند الفشل + إعادة اتصال العملاء

يشكّل active-passive نقطة انطلاق جيدة للبنى متعددة المناطق، لكن ضعوا في اعتباركم أن:

  • البيانات قد تضيع (حتى مقدار تأخر التكرار)،
  • وقد يتطلب التحويل عند الفشل تدخلًا يدويًا.

ويجب على فريق SRE أن يقرر متى – وهل – يُطلق التحويل عند الفشل، وهذه القرارات تؤثر مباشرة في اتساق البيانات وإعادة التشغيل المحتملة.

بنية Kafka من نوع Active-Active

تحاول بنى active-active خفض RTO، وربما RPO، بالسماح لكلتا المنطقتين بمعالجة الحركة في الوقت نفسه. وهنا يقبل كلا العنقودين الكتابات وتُكرَّر البيانات في الاتجاهين، وإن بقي ذلك غير متزامن. وتعالج كل منطقة الحركة المحلية بينما تكرر بياناتها إلى الأخرى.

ويجلب هذا بعض الفوائد الواضحة:

  • زمن استجابة منخفض (يتصل العملاء بأقرب منطقة)،
  • RTO قد يقترب من الصفر،
  • استخدام أفضل للبنية التحتية.

لكنه يطرح مجموعة مختلفة من التحديات. فكثيرًا ما تُبنى هذه البنية لا حول موضوع مشترك واحد (مثل orders)، بل حول مواضيع خاصة بكل منطقة:

  • dc1.orders،
  • dc2.orders.

وبهذه الطريقة يكتب المنتِجون المحليون إلى موضوعهم المحلي فقط، بينما يقرأ القرّاء من كليهما – المحلي و“البعيد” المكرَّر إلى مركز البيانات المحلي. ويمكن للقرّاء حينئذ الاشتراك باستخدام تعبير نمطي (regexp)، مثل *.orders. ويؤدي هذا النهج إلى مشكلات في:

  • ترتيب البيانات (موضوعان منفصلان بدل تدفق عالمي واحد).
  • نقل المستهلكين أثناء التحويل عند الفشل، بما في ذلك التعامل الصحيح مع الإزاحات.
  • انقسامات الشبكة، التي قد يواصل فيها كلا العنقودين قبول الكتابات منفردًا، مما يسبب التباعد.

وتقدم بنى active-active إتاحة ممتازة، لكنها تتطلب تصميمًا دقيقًا لخاصية التماثل (idempotency) وضمانات الترتيب وإدارة الإزاحات.

Kafka عبر ثلاثة مراكز بيانات (3-DC)

تسلك بنية 3-DC مسارًا مختلفًا. فبدل عناقيد منفصلة، تعتمد على عنقود Kafka واحد ممتد عبر ثلاثة مراكز بيانات (أو مناطق توافر ذات نطاقات فشل مستقلة).

كيف يعمل ذلك؟ هناك عنقود Kafka منطقي واحد تتوزع وسطاؤه وZooKeeper (أو متحكمات KRaft) على ثلاثة مراكز بيانات.

عند الإعداد الصحيح:

  • يكون لكل قسم نسخ في كل من مراكز البيانات الثلاثة.
  • ويتطلب انتخاب القائد نصابًا (quorum) – أي أن أغلبية (2 من 3) عقد ZooKeeper أو متحكمات KRaft يجب أن تبقى متاحة.
  • وفقدان مركز بيانات واحد لا يوقف العنقود.
  • والتحويل عند الفشل تلقائي وغير مرئي للعملاء.
  • ولا حاجة إلى ترجمة الإزاحات بين العناقيد.

باختصار – يمكن أن يكون RPO وRTO صفرًا كلاهما.

وبطبيعة الحال، هناك أيضًا بعض العيوب:

  • زمن الاستجابة المرتفع بين مراكز البيانات يضر بأداء الكتابة. فالمطلوب روابط مستقرة ومنخفضة التأخر بين المراكز. وتعمل البنية على أفضل وجه حين تكون مراكز البيانات قريبة من بعضها.
  • هناك حاجة إلى عتاد أكثر (ثلاثة مراكز بيانات).
  • وفي عمليات النشر السحابية، قد يكون التكرار عبر المناطق/مراكز البيانات مكلفًا.

ومد عنقود Kafka واحد عبر مناطق جغرافية متباعدة (مثل أوروبا والولايات المتحدة) غير عملي عادةً بسبب مفاضلات زمن الاستجابة والإتاحة.

بنية Kafka من نوع 2.5-DC

بنية 2.5-DC في Kafka هي صيغة من نموذج العنقود الممتد – تتطلب بنية تحتية أقل من نشر 3-DC الكامل.

ويبرز سؤال بديهي: لماذا لا نمد العنقود ببساطة عبر مركزي بيانات؟

الجواب هو نصاب البيانات الوصفية (metadata quorum). فـ Kafka (سواء مع ZooKeeper أو KRaft) يحتاج إلى أغلبية من عقد البيانات الوصفية لانتخاب قادة الأقسام والحفاظ على اتساق العنقود. ولذلك يجب أن يكون في طبقة البيانات الوصفية عدد فردي من عقد التصويت. ومع مركزي بيانات فقط، يعني فقدان أحدهما فقدان النصاب، ويصبح العنقود غير متاح منعًا لسيناريوهات انقسام الدماغ (split-brain).

ويعالج عنقود 2.5 DC ذلك بوضع طبقة البيانات الوصفية في ثلاثة مراكز بيانات مع إبقاء البيانات في اثنين فقط. وعمليًا، لا يحتوي مركز البيانات الثالث عادةً إلا آلة واحدة (أو VM) تشغّل نسخة KRaft واحدة.

وتوفر صيغة 2.5 DC:

  • مركزي بيانات “كاملين” (DC1 وDC2).
  • موقعًا ثالثًا واحدًا خفيفًا (DC3).
  • يشارك DC3 في النصاب – لكنه لا يتولى أي حركة بيانات. إنه يعمل كحَكَم مرجّح.
  • RPO وRTO = 0، مثل بنية 3-DC تمامًا (عند الإعداد الصحيح).

ولتحقيق كل هذه الفوائد، أضافت Confluent آليات إضافية تعزز هذا الإعداد.

نسخ Kafka المراقِبة (Observer) (Confluent فقط)

النسخة المراقِبة نوع خاص من النسخ متاح في عمليات نشر Confluent.

المراقِب:

  • ينسخ البيانات بشكل غير متزامن.
  • ليس جزءًا من ISR لإقرارات الكتابة.
  • لا يتولى حركة العملاء.
  • لا يؤثر في زمن استجابة الكتابة كما تفعل النسخ الكاملة.

وتضيف النسخ المراقِبة متانة ومرونة في التوزيع دون رفع متطلبات نصاب الكتابة.

الترقية التلقائية للمراقِب

يمكن ترقية المراقِبات تلقائيًا إلى نسخ كاملة كلما لزم الأمر. وأكثر ما يحدث ذلك عندما ينخفض قسم عن min.insync.replicas المضبوط (min ISR). وفي هذه الحالة:

  1. يلحق المراقِب بالقائد.
  2. ويُرقّى إلى نسخة كاملة.
  3. ويدخل ISR، مستعيدًا ضمانات التكرار المطلوبة.

وعندما يعود التابع الفاشل وينضم إلى ISR، يمكن للمراقِب أن يعود إلى دوره الأصلي. وبفضل هذه الآلية يبقى العنقود متاحًا للكتابة حتى أثناء الأعطال الجزئية. ولكي نفهم تمامًا سبب ضرورة هذه الآلية، علينا النظر في مفهوم آخر.

قيود التوزيع في Confluent

تتيح Confluent تحديد قيود توزيع النسخ لكل موضوع. وبها يمكنكم التحكم في:

  • كم نسخة تذهب إلى كل مركز بيانات؟
  • كم مراقِبًا يذهب إلى كل مركز بيانات؟
  • متى تُرقّى المراقِبات إلى نسخ كاملة؟

لماذا نحتاج إلى مراقِبات بتوزيع صحيح؟ لنفترض أن لدينا 6 وسطاء في مركزي بيانات (3 وسطاء في كل مركز). أي معامل تكرار وأي min.ISR ينبغي أن نستخدم؟

لأحمال الإنتاج توصي Confluent عادةً بـ min.insync.replicas = 3، لذا سنعتمده كخط أساس.

السيناريو 1

  • RF=4،
  • min.isr = 3،
  • بلا مراقِبات،
  • بلا قيد توزيع.

هنا لا نستطيع ضمان أن تُقَرّ الكتابات في مركزي البيانات معًا.

وبما أن min.isr = 3، فقد تأتي الإقرارات الثلاثة كلها من نسخ في مركز بيانات واحد. وهذا يمثل خطرًا على المتانة إذا فشل ذلك المركز مباشرة بعد الكتابة.

السيناريو 2

  • RF=6،
  • min.isr = 4،
  • بلا مراقِبات،
  • بلا قيد توزيع.

هنا يكتب المنتِجون دائمًا إلى نسخ في كلا المركزين (مثلًا بتوزيع 2+2 أو 3+1).

لكن المشكلة تبدأ عندما يفشل أحد المركزين.

فمع تعطل مركز بيانات واحد، لا يبقى سوى 3 وسطاء. ومع min.isr = 4، لم تعد الكتابات ممكنة – إذ يتوقف العنقود عن قبول الكتابات.

السيناريو 3

  • RF=6،
  • min.isr = 3،
  • بلا مراقِبات،
  • بلا قيد توزيع.

تشبه هذه الحالة السيناريو 1. فحتى لو كانت النسخ موجودة في المركزين، لا شيء يضمن أن تأتي الإقرارات من الموقعين. فالمتانة عبر مراكز البيانات غير مفروضة.

السيناريو 4

  • RF=6،
  • min.isr = 3،
  • مراقِبان،
  • قيود توزيع نسخ صريحة.

مثال على الإعداد:

{
    "version": 2,
    "replicas": [
        {
            "count": 2,
            "constraints": {
                "rack": "dc1"
            }
        },
        {
            "count": 2,
            "constraints": {
                "rack": "dc2"
            }
        }
    ],
    "observers": [
      {
          "count": 1,
          "constraints": {
              "rack": "dc1"
          }
      },
      {
          "count": 1,
          "constraints": {
              "rack": "dc2"
          }
      }
    ],
    "observerPromotionPolicy":"under-min-isr"
}

مع هذا الإعداد، يستضيف كل مركز بيانات:

  • نسختين متزامنتين،
  • ومراقِبًا واحدًا.

والنتيجة:

  • DC 1: قائد، تابع، مراقِب
  • DC 2: تابعان، مراقِب

في التشغيل العادي:

  • تحتاج الكتابات إلى إقرارات من ثلاث نسخ على الأقل (min.isr = 3).
  • وتضمن قيود التوزيع انتشار النسخ على المركزين.

وإذا فشل مركز بيانات كامل:

  • يُرقّى المراقِب في المركز المتبقي إلى نسخة كاملة.
  • ويعود ISR إلى الحجم المطلوب، فيتحقق قيد min.isr مرة أخرى.
  • وتستمر الكتابات دون الإخلال بضمانات المتانة.

يقدم هذا التصميم ضمانات متانة قوية ويُبقي العنقود قابلًا للكتابة أثناء أعطال مراكز البيانات الجزئية والكاملة على حد سواء.

آليات التكرار متعدد المناطق في Kafka

تصميم بنية Kafka متعددة المناطق مهمة معقدة بحد ذاتها. وبعد أن تحددوا إعدادًا من نوع active-passive أو active-active، يكون الخيار الحاسم التالي هو آلية التكرار.

وعلى عكس التكرار داخل العنقود، فإن التكرار عبر المناطق ليس مدمجًا في وسيط Apache Kafka. بل تتولاه أدوات تكرار مخصصة.

وأكثرها استخدامًا:

  • MirrorMaker 2،
  • Confluent Replicator،
  • Cluster Linking (Confluent).

MirrorMaker 2

MirrorMaker 2 (MM2) هي الأداة المفتوحة المصدر القياسية لتكرار البيانات بين عناقيد Kafka.
وهي مبنية على Kafka Connect وقُدّمت كنسخة محسّنة من MirrorMaker الأصلية.

يقرأ MirrorMaker 2 البيانات من المواضيع في العنقود المصدر ويكتبها في العنقود الهدف – كما تفعل موصّلات Kafka Connect المعتادة من نوع Source وSink. والتكرار غير متزامن، وتشغيل MM2 يعني تشغيل ومراقبة عنقود Kafka Connect.

وأصعب ما في العمل مع MirrorMaker 2 هو التعامل مع إزاحات المستهلكين.

فالرسائل المكرَّرة إلى العنقود الهدف تحصل على إزاحات تختلف عن تلك في العنقود المصدر. لذا عند حدوث تحويل عند الفشل، لا يستطيع المستهلكون الانتقال ببساطة إلى مركز البيانات الثانوي واستئناف القراءة من الإزاحة الرقمية نفسها.

Confluent Replicator

يعمل Confluent Replicator بشكل شبيه جدًا بـ MirrorMaker 2، إلا أنه منتج تجاري من Confluent.

وهو كذلك مبني على Kafka Connect ومتكامل بإحكام مع منظومة Confluent.

وبالمقارنة مع MirrorMaker 2، فإن Replicator:

  • يأتي بدعم مؤسسي.
  • ويقدم أدوات تشغيلية إضافية.
  • وغالبًا ما يوجد في عمليات نشر Confluent Platform.

لكنه من الناحية المعمارية لا يزال يعتمد على التكرار غير المتزامن ويتطلب منك تشغيل عنقود Kafka Connect.

Cluster Linking

Cluster Linking آلية تكرار أخرى من Confluent، لكن تصميمها مختلف جذريًا. فعلى النقيض من MirrorMaker 2 أو Replicator، فإن Cluster Linking مبنية مباشرة في وسطاء Confluent Platform. ونتيجة لذلك:

  • لا حاجة إلى عنقود Kafka Connect منفصل.
  • ويجري التكرار على مستوى الوسيط.

Cluster Linking:

  • تعكس المواضيع مباشرة على الوسطاء.
  • وتحافظ على هوية الموضوع.
  • وتحتفظ بالإزاحات.
  • وتعمل أسرع من Replicator.

وبإلغاء الحاجة إلى موصّلات تكرار خارجية، تبسّط Cluster Linking البنية وتزيل أحد أكبر العيوب التشغيلية في MirrorMaker 2.

وفي عمليات نشر Confluent Platform أو Confluent Cloud، تكون Cluster Linking عادةً آلية التكرار الموصى بها بدل Confluent Replicator.

الإزاحات والتعافي من الكوارث

إدارة الإزاحات أثناء الكارثة من أصعب التحديات في بنى active-passive وactive-active كلتيهما.

وكما ذُكر سابقًا، يغيّر MirrorMaker 2 وConfluent Replicator إزاحات الرسائل أثناء التكرار. أما Cluster Linking فتتجنب هذا العيب تحديدًا، لكن يبقى تحذير مهم: كل هذه الآليات غير متزامنة – لذا قد يحدث فقدان للبيانات.

كيف يمكن أن يحدث فقدان البيانات؟

لنأخذ السيناريو التالي:

هناك منطقتان:

  • المنطقة A (الأساسية)
  • المنطقة B (التحويل عند الفشل)

وتتولى Cluster Linking التكرار.

  1. تحتوي المنطقة A على 1000 رسالة.
  2. لم تتمكن المنطقة B من تكرار سوى 950 منها (بسبب تأخر التكرار).
  3. تتعطل المنطقة A.
  4. نحوّل إلى المنطقة B.
  5. تُنتَج رسائل جديدة في المنطقة B وتُخزَّن عند الإزاحات 951 و952 وما بعدها.
  6. تعود المنطقة A.
  7. نريد الرجوع (failback) إلى المنطقة A.

ستزامن Cluster Linking البيانات الآن مرة أخرى. لكن الرسائل الأصلية في المنطقة A عند الإزاحات من 951 إلى 1000 قد تُستبدل بالرسائل الأحدث المنتَجة في المنطقة B.

النتيجة: ضياع نحو 50 رسالة.

والعدد الدقيق للرسائل الضائعة يعتمد على حجم تأخر التكرار بين المناطق لحظة الفشل.

كيف يمكنك منع فقدان البيانات؟

1. اختر بنية مختلفة
يمكنك اختيار بنية توفر تكرارًا متزامنًا بين المناطق (مثل العناقيد الممتدة). وهذا يقلل فقدان البيانات عبر المناطق كثيرًا أو يزيله تمامًا – مقابل زمن استجابة وتعقيد تشغيلي أعلى.

2. نفّذ آلية إعادة تشغيل مضبوطة
إذا كان التكرار غير المتزامن لا بد منه، فأنت بحاجة إلى شبكة أمان إضافية للتحويل عند الفشل.

والخيار العملي هو تنفيذ نوافذ إعادة تشغيل مضبوطة للمنتِجين.

في هذا النموذج:

  • تحتفظ تطبيقات الإنتاج بآخر X رسالة أرسلتها (على أن يكون X أكبر من أعلى تأخر تكرار متوقع).
  • وبعد التحويل عند الفشل أو الرجوع، يستطيع المنتِجون إعادة إرسال تلك الرسائل عند الطلب.

ويتطلب هذا النهج:

  • أن يكون المستهلكون متماثلين (idempotent)
  • وأن تتحمل الأنظمة اللاحقة معالجة التكرارات

وهو ينقل بعض المسؤولية من البنية التحتية إلى منطق التطبيق – لكنه يعزز بدرجة كبيرة المرونة ضد فقدان البيانات الناتج عن تأخر التكرار.

اختبار التعافي من الكوارث في Kafka

اختيار بنية للتعافي من الكوارث في Kafka ليس سوى الخطوة الأولى.

فرسم إعدادات active-passive أو active-active أو 3-DC أو 2.5-DC على الورق لا يضمن أنها ستتصرف كما هو مقصود عند حدوث أعطال حقيقية. فالبنية تعبّر عن النية؛ والاختبار يؤكد الواقع. عليكم التحقق من أن النظام يتصرف فعلًا وفق RPO وRTO اللذين حددتموهما. وهذا يعني المرور عمدًا بسيناريوهات الفشل – لا الاكتفاء بالحديث عنها في اجتماعات التصميم.

ابدؤوا بالأعطال الجزئية

ابدؤوا باختبار اضطرابات أصغر ومضبوطة:

  • انهيارات الوسطاء،
  • أعطال الأقراص،
  • إعادة انتخاب القادة،
  • أعطال متحكمات KRaft،
  • إعادة التشغيل المتدرجة التي تسوء.

تؤكد هذه السيناريوهات ضمانات التكرار داخل عنقودكم وجاهزيتكم التشغيلية.

ثم انتقلوا إلى سيناريوهات أكثر اضطرابًا

بعد ذلك، اختبروا الأعطال المتعلقة بحركة المرور والتكرار عبر المناطق:

  • تدهور مؤقت في الشبكة بين المناطق،
  • فقدان كامل للاتصال بين مراكز البيانات،
  • أعطال عملية التكرار،
  • انقطاعات Kafka Connect أو Cluster Linking.

وتكشف هذه السيناريوهات كيف يتصرف تأخر التكرار، وأي مشكلات في مزامنة الإزاحات، وكيف يعيد العملاء الاتصال.

وأخيرًا، اختبروا الكوارث الشاملة

حاكوا أسوأ الحالات:

  • انقطاع منطقة توافر كاملة،
  • فشل مركز بيانات بأكمله،
  • فقدان مفاجئ للمنطقة الأساسية.

عندها فقط تستطيعون التأكد مما إذا كانت بنيتكم تحقق فعلًا أهداف التعافي من الكوارث.

خطة التعافي من الكوارث

في كل سيناريو ينبغي لكم:

  • قياس RPO الحقيقي (كم من البيانات ضاع أو أُعيد تشغيله).
  • وقياس RTO الحقيقي (كم استغرق تعافي المنتِجين والمستهلكين بالكامل).
  • والتحقق من صحة إزاحات المستهلكين.
  • وتنفيذ إجراءات التحويل عند الفشل الموثقة.
  • ومراجعة خطوات الاستعادة والرجوع.

ومن المهم بالقدر نفسه التمرّن على:

  • تبديل الحركة (DNS وموازنات الحمل وشبكة الخدمات service mesh)،
  • ترحيل مجموعات المستهلكين،
  • منطق التحقق من الإزاحات أو إعادة ترجيعها،
  • إجراءات إعادة بناء العناقيد وإعادة دمجها.

وخطة التعافي من الكوارث لا تكون موثوقة إلا بعد تنفيذها من البداية إلى النهاية. واختبار التحويل عند الفشل لا يكفي – بل عليكم أيضًا اختبار مسارات التعافي والاستعادة.

الخلاصة وأهم النقاط

تصميم التعافي من الكوارث والبنية متعددة المناطق في Apache Kafka لا يعني تفعيل التكرار والأمل في الأفضل. بل يعني الموازنة الواعية بين:

  • RPO وRTO،
  • زمن الاستجابة والمتانة،
  • التعقيد والنضج التشغيلي،
  • التكلفة والمرونة.

ويعالج كل نمط معماري – active-passive أو active-active أو 3-DC أو 2.5-DC – مشكلة مختلفة. ولا يصلح أي منها في كل الحالات.

ويعتمد الحل المناسب على:

  • متطلبات استمرارية أعمالكم،
  • مقدار فقدان البيانات الذي تستطيعون تحمّله،
  • أزمنة التعافي التي تتوقعونها،
  • قدراتكم التشغيلية.

وقبل كل شيء، التعافي من الكوارث ليس إعدادًا – بل ممارسة.

فهو يتطلب:

  • قرارات معمارية صريحة،
  • إعدادًا منضبطًا،
  • قابلية للمراقبة (observability)،
  • أتمتة،
  • وتمارين تحويل عند الفشل تُجرى بانتظام.

كثيرًا ما ينتهي Kafka عمودًا فقريًا لأنظمة حرجة للمهمة. ومعاملة استراتيجية التعافي من الكوارث فيه كفكرة لاحقة من أكثر الأخطاء المعمارية كلفة التي قد ترتكبها مؤسسة.

هل تحتاجون مساعدة في تصميم بنية DR لـ Kafka أو التحقق منها؟

بناء بنية Kafka متعددة المناطق بمستوى الإنتاج – والتأكد من أنها تحقق فعلًا أهداف RPO وRTO لديكم – يتطلب خبرة في الأنظمة الموزعة وخبرة تشغيلية عملية معًا.

نحن شريك Confluent Elite، وندعم المؤسسات في:

  • تصميم استراتيجيات التعافي من الكوارث في Kafka، سواء Kafka مفتوح المصدر أو Confluent Platform،
  • تنفيذ البنى متعددة المناطق (بما فيها إعدادات 3-DC و2.5-DC)،
  • التحقق من إجراءات التحويل عند الفشل،
  • الترحيل الآمن بين العناقيد والمناطق،
  • إجراء اختبارات تعافٍ من الكوارث واقعية.

وإذا كنتم تخططون لنشر Kafka متعدد المناطق أو تودون مراجعة إعداد التعافي من الكوارث الحالي لديكم، فلا تترددوا في التواصل معنا.

وسنساعدكم بكل سرور على التأكد من أن بنيتكم تصمد لا على المخططات فحسب – بل عندما تقع الأعطال الحقيقية.