شرح النسخ المتزامنة (in-sync replicas) وعامل النسخ المتماثل في Confluent Stretched Cluster 2.5
تعرّف على كيفية ضبط النسخ المتزامنة (ISR) وعامل النسخ المتماثل (RF) في Confluent Stretched Cluster 2.5 لتحقيق أعلى درجات متانة البيانات والمرونة عبر مراكز البيانات وتحمّل الأعطال. وانظر كيف تؤثر إعدادات النسخ المتماثل والمراقبين (observers) والترقية التلقائية للمراقب في التوافر والأداء مقارنةً بـ Kafka مفتوح المصدر.
عند نشر Kafka عبر عدة مراكز بيانات، يتطلب الحفاظ على متانة البيانات وتوافرها عند وقوع الأعطال موازنة دقيقة بين الاتساق والأداء.
تقدّم معمارية Confluent Stretched Cluster 2.5 آليات مثل المراقبين والترقية التلقائية للمراقب (AOP) التي توفر المرونة عبر مراكز البيانات مع إبقاء التعقيد التشغيلي منخفضًا.
في هذا المقال، أشرح ما تفعله replication.factor (RF) وmin.insync.replicas (min.ISR) في Stretched Cluster ضمن Confluent Platform، وكيف تؤثران في التوافر، وبأي طرق يختلف تنفيذ Confluent عن Apache Kafka مفتوح المصدر.
ما هو Stretched Cluster 2.5؟
الـ stretched cluster 2.5 هو نشر لـ Kafka تعمل فيه الوسطاء (brokers) في مركزي بيانات (DCs) يعملان بكامل وظائفهما، بينما يشغّل موقع ثالث خفيف خدمات البيانات الوصفية فقط – تقليديًا ZooKeeper، أو في إصدارات Confluent Platform الحديثة، نصاب متحكمات KRaft.
تستضيف الوسطاء نسخ الأقسام (partition replicas)، وتتخذ كل نسخة أحد ثلاثة أدوار:
- Leader – يخدم طلبات العملاء (المنتجين/المستهلكين) لقسم معين.
- Follower – يحتفظ بنسخة متزامنة من القسم.
- Observer – يحتفظ بنسخة غير متزامنة لا تكون جزءًا من ISR افتراضيًا (مدونة Confluent).
تحتوي قائمة ISR (In-Sync Replicas) على الوسطاء التي لحقت بالـ leader تمامًا.
يحدد الإعداد min.insync.replicas عدد أعضاء ISR الذين يجب أن يؤكدوا الكتابة (مع acks=all) قبل أن تُعدّ مُلتزَمة (committed).
وللعمل مع المراقبين والـ stretched clusters، عليك ضبط عدد النسخ عند إنشاء الموضوع (topic) ثم تقديم confluent.placement.constraints، التي تحدد مكان كل نسخة والدور الذي تتخذه.
سيناريوهات إعدادات مختلفة
السيناريو 1 – RF = 4، min.ISR = 2
لنفترض أننا نريد 4 نسخ لكل قسم (RF=4)، اثنتان في كل DC. مع min.isr = 2، تُعدّ الكتابة ناجحة بمجرد أن يؤكدها عضوان من ISR – حتى لو جاء التأكيدان من وسطاء موجودة في DC نفسه.
وللتأكد من تأكيد البيانات في كلا الـ DCs، يمكنك ضبط الموضوع هكذا:
- DC 1: Leader + Observer
- DC 2: Follower + Observer
وهذه سياسة توزيع النسخ:
{
"version": 2,
"replicas": [
{
"count": 1,
"constraints": {
"rack": "dc1"
}
},
{
"count": 1,
"constraints": {
"rack": "dc2"
}
}
],
"observers": [
{
"count": 1,
"constraints": {
"rack": "dc1"
}
},
{
"count": 1,
"constraints": {
"rack": "dc2"
}
}
],
"observerPromotionPolicy":"under-min-isr"
}
عندما يتعطل الـ DC الذي يحتوي على الـ leader، تستطيع الترقية التلقائية للمراقب (AOP) نقل مراقب لاحق بالركب إلى ISR وانتخابه leader جديدًا. ويعتمد زمن الترقية على تأخر النسخ المتماثل وحالة الشبكة؛ فلا توجد مدة ثابتة. وأثناء حدوث هذا التبديل، لا يستطيع المنتجون الذين يستخدمون acks=all إرسال رسائل جديدة.
وهذا الإعداد معرّض أيضًا للأعطال المتداخلة (مثل تزامن انقطاع أحد الـ DCs مع إعادة تشغيل وسيط في الـ DC المتبقي).
السيناريو 2 – RF = 4، min.ISR = 3
هنا عامل النسخ المتماثل هو نفسه في السيناريو 1، لكن min.isr=3. في هذا الإعداد تكون كل النسخ متزامنة – دون مراقبين.
وهذه سياسة توزيع النسخ:
{
"version": 2,
"replicas": [
{
"count": 2,
"constraints": {
"rack": "dc1"
}
},
{
"count": 2,
"constraints": {
"rack": "dc2"
}
}
]
}
ونتيجة لذلك:
- يجب أن تؤكد كل كتابة ثلاثة وسطاء.
- تمر الكتابات بشكل طبيعي ما دام ثلاثة وسطاء على الأقل سليمة.
- عندما يتعطل DC كامل، يبقى عضوان فقط من ISR، وسيتوقف المنتجون الذين يستخدمون
acks=allحتى يعود الـ DC المعطل أو تُخفَّضmin.ISRمؤقتًا إلى 2.
يفضّل هذا الإعداد الاتساق على حساب التوافر عند تعطل DC بأكمله.
السيناريو 3 – RF = 6، min.ISR = 3
مع RF=6، يحتفظ كل DC بـ نسختين متزامنتين إضافة إلى مراقب واحد:
- DC 1: Leader وFollower وObserver
- DC 2: اثنان من Follower وObserver
وهذه سياسة توزيع النسخ:
{
"version": 2,
"replicas": [
{
"count": 2,
"constraints": {
"rack": "dc1"
}
},
{
"count": 2,
"constraints": {
"rack": "dc2"
}
}
],
"observers": [
{
"count": 1,
"constraints": {
"rack": "dc1"
}
},
{
"count": 1,
"constraints": {
"rack": "dc2"
}
}
],
"observerPromotionPolicy":"under-min-isr"
}
يمنح هذا التوزيع متانة قوية ومرونة أكبر:
- لا يسبب إعادة تشغيل وسيط واحد أو ترقيته أي توقف.
- عندما يتعطل DC كامل، ترقّي AOP مراقبًا لاحقًا بالركب في الـ DC المتبقي، فيعود التوافر.
وهذا يجعل 6 نسخ مع min.ISR = 3 الإعداد الأكثر متانة واستقرارًا تشغيليًا للـ stretched clusters.
Confluent Platform مقابل Kafka مفتوح المصدر
تبني منصة Confluent على نموذج المتانة في Kafka بميزات مثل المراقبين غير المتزامنين والـ stretched clusters (معماريات 2.5-DC) وقيود توزيع النسخ. وتتيح هذه الميزات، المتاحة بالكامل منذ Confluent Platform 6.1، تجاوز الفشل التلقائي (failover) واتساقًا أقوى للبيانات عبر المناطق. أما نموذج Kafka مفتوح المصدر فلا يحتوي إلا على leaders وfollowers متزامنين، مع عامل نسخ متماثل تقليدي.
الخلاصة
بالنسبة لنشر Confluent Stretched Cluster 2.5، توفر 6 نسخ مع min.ISR = 3 وسياسة توزيع مناسبة أفضل توازن بين التوافر والمتانة: تُنسخ الكتابات بأمان إلى كلا الـ DCs، وتستمر الأعمال أثناء الانقطاعات.
يمكن أن تعمل الإعدادات الأبسط مثل RF = 4 وmin.ISR = 2 عندما تكون الظروف مثالية، لكنها قد تؤدي إلى فقدان البيانات أو التوقف عند حدوث أعطال الوسطاء والـ DCs معًا.
وتوفر ميزات Confluent المميزة – المراقبون مع Stretched Cluster 2.5 – إمكانات تفتقر إليها Kafka مفتوحة المصدر، فتقدّم تجاوز فشل أكثر أمانًا واتساقًا أقوى للبيانات في البيئات الحرجة.