تقدير المشروع
← كل المقالات

وُلد Kafka في LinkedIn. ماذا غيّرت LinkedIn عندما لم يعد Kafka كافيًا؟

نظرة على نظامَي Northguard وXinfra من LinkedIn وكيف يعيدان صياغة تخزين السجلات والنسخ المتماثل والبيانات الوصفية على طريقة Kafka لتجاوز حدود التوسع المرتبطة بالأقسام (partitions).

9 دقائق قراءة
KafkaApache Kafkaبث البيانات

أُنشئ Kafka في LinkedIn نحو عام 2010 ليكون وسيلة تنشر بها الخدمات البيانات وتستهلكها باستقلالية وتعيد قراءتها متى لزم. وبحلول عام 2025 ذكرت LinkedIn أنها تعالج أكثر من 32 تريليون سجل و17 PB يوميًا، موزعة على 400,000 موضوع (topic) وأكثر من 10,000 جهاز ونحو 150 عنقودًا (cluster).

وتطلّب تشغيل بنية تحتية بهذا الحجم مجموعة متنامية من الخدمات التي تتولى الموازنة والاستعادة وإدارة العناقيد. وكان ردّ LinkedIn هو Northguard، نظام جديد لتخزين السجلات، وXinfra، طبقة افتراضية تتيح للتطبيقات العمل مع Kafka وNorthguard معًا.

يحتفظ Northguard بالمنتجين والمستهلكين والسجلات المرتبة والنسخ المتماثل وإعادة القراءة. أما ما يتغير فيقع تحت السطح: وحدات نسخ متماثل أصغر، ومستوى تحكم مجزأ، ومواضيع قادرة على الانتقال بين أنظمة التخزين.

عن المصادر: تتناول هذه المقالة تقرير التصميم والنشر الذي نشرته LinkedIn في يونيو 2025. وفي ذلك الوقت كان Northguard وXinfra نظامين داخليين مغلقي المصدر؛ وأخبرت LinkedIn موقع InfoQ أنها قد تفتح مصدرهما في وقت لاحق. وأثناء كتابة هذه المقالة لم أجد أي إصدار علني. ونتيجة لذلك فإن الادعاءات المتعلقة بالأداء والموثوقية صادرة من LinkedIn نفسها، دون تنفيذ علني متاح للفحص المستقل أو قياس الأداء. ولم يُتحقق من مدى صمودها على أحمال عمل وعتاد وإعدادات Kafka أخرى.

أقسام Kafka تحمل مسؤوليات كثيرة

القسم (partition) في Kafka سجل مرتب، لكنه يحكم أيضًا النسخ المتماثل ومكان وضعه على الوسطاء (brokers) وطريقة تقاسم المستهلكين للعمل. وتتشارك مسؤوليات متعددة الحد الفاصل نفسه:

1.kafka-partition

يتكون الموضوع ذو اثني عشر قسمًا من اثني عشر سجلًا مرتبًا. ولكل منها تعيين نسخ متماثلة، وقائد (leader) يقبل الكتابة، وتابعون (followers) ينسخون البيانات. وفي مجموعة مستهلكين نموذجية تحدد الأقسام أيضًا مقدار التوازي المتاح في المعالجة.

وتشير مقالة LinkedIn إلى هذا الاقتران بوصفه مشكلة على نطاقها: فالقسم وحدة نسخ متماثل ثقيلة، لذا قد يتضمن نقل واحد منها أو إصلاحه كمية كبيرة من البيانات.

إضافة وسيط تعني التعامل مع التاريخ

تخيّل عنقودًا فيه ثلاثة وسطاء A وB وC يقترب من حد التخزين أو الإنتاجية. نضيف الوسيط D. يبدأ فارغًا؛ وإتاحة سعته للمواضيع القائمة تعني عادةً نقل بعض نسخ الأقسام:

2.broker a - broker d

تتنافس هذه النقول مع حركة الإنتاج على عرض النطاق الترددي للشبكة والقرص. وأنشأت LinkedIn أداة Cruise Control لأتمتة إعادة تعيين الأقسام وموازنة العنقود والتعافي من الأعطال. ولا تزال البيانات بحاجة إلى النقل، وغالبًا تحت خانق (throttle) يحمي حمل العمل الحي.

ويقلّص Northguard كمية البيانات المرتبطة بكل تعيين نسخة متماثلة.

Northguard يفصل السجل عن وحدات النسخ المتماثل

بخطوط عريضة، يبدو تسلسل Northguard الهرمي كما يلي:

3. three segments

يمثل النطاق (range) سجلًا يمتد على جزء متصل من فضاء المفاتيح. ويتكون من مقاطع (segments)، يحمل كل منها تسلسله الخاص من السجلات. المقطع النشط يستقبل الكتابة؛ والمقطع المختوم غير قابل للتغيير. وبحسب LinkedIn، يُختم المقطع عندما يبلغ 1 GB أو يبقى نشطًا لأكثر من ساعة أو يفقد نسخة متماثلة.

وحدة النسخ المتماثل هي المقطع. ويقسّم Kafka أيضًا سجلات الأقسام إلى ملفات مقاطع، لكن هذه الملفات تتبع عادةً تعيين النسخ المتماثلة للقسم. أما في Northguard فيمكن أن تكون لمقاطع متتالية من النطاق نفسه مجموعات نسخ متماثلة مختلفة:

4. log striping

يحتفظ النطاق بالترتيب المنطقي، بينما تتوزع مقاطعه على الوسطاء. وتسمي LinkedIn هذا تشريط السجل (log striping).

اترك البيانات القديمة حيث هي

لنضف الآن الوسيط E. يستطيع Northguard وضعه في مجموعات النسخ المتماثلة لـالمقاطع الجديدة:

5.broker-e-joins

يمكن للمقاطع الموجودة أن تبقى في مكانها. ومع إنشاء مقاطع جديدة، يوزع المخصِّص (allocator) الكتابات الجديدة على العنقود الموسّع. وهكذا يتلقى الوسيط الجديد عملًا دون الحاجة إلى نسخ السجلات التاريخية إليه مسبقًا.

كما يمنح المخصِّص فرصًا متكررة لتصحيح التوزيع غير المتوازن. ويتراكم الأثر مع تجدد المقاطع؛ فإضافة وسيط لا تعيد توزيع البيانات المحتفظ بها دفعة واحدة. وفي رأيي، هذا أثمن تغيير: يمكن للسعة الجديدة أن تبدأ معالجة الحركة الجديدة دون أن تُشغَّل أولًا مهمة إعادة تعيين كبيرة.

استعادة الأعطال مختلفة أيضًا

تخيّل أن للمقطع النشط 42 نسخًا متماثلة على A وB وC، وأن الوسيط C تعطل. يستطيع Northguard ختم ذلك المقطع وإنشاء المقطع 43 بمجموعة نسخ متماثلة جديدة:

6.missing replica

تستمر الكتابات في المقطع 43، بينما يعيد نسخ المقاطع المختومة بناء النسخة المفقودة من المقطع 42. وبذلك يُفصل إصلاح البيانات القديمة عن وضع الكتابات الجديدة.

وتُرجع LinkedIn إلى وحدة النسخ المتماثل الأصغر هذه القدرة على إبقاء الإنتاج متاحًا دون المفاضلات في الاتساق التي كانت قد قبلت بها في إعداد Kafka لديها. وهذه المقارنة تخص قرارات النشر الخاصة بـ LinkedIn؛ ولا تعني أن Kafka بطبيعته يجبرك على التضحية بالاتساق في كل مرة يفشل فيها وسيط.

النطاقات تحل محل الأقسام المفهرسة

يؤثر عدد الأقسام في Kafka أيضًا في مكان وقوع المفاتيح. ففي تعيين مثل hash(key) % number_of_partitions، قد تؤدي إضافة أقسام إلى توجيه السجلات اللاحقة لمفتاح معين إلى قسم مختلف. ولهذا عواقب على الترتيب والمعالجة ذات الحالة والوصلات (joins) المبنية على المفاتيح.

أما Northguard، بالمقابل، فيقسّم فضاء المفاتيح إلى نطاقات قادرة على مزيد من الانقسام:

7.split

يعمل النطاق الذي يخضع للانقسام كنقطة مزامنة. ويمكن للمنتجين الذين يكتبون إلى نطاقات غير ذات صلة مواصلة العمل. وعندما ينقسم R1 إلى R2 وR3، تأتي السجلات في R1 قبل السجلات في أي من الابنين. ودمج النطاقات يُنشئ علاقة ترتيب مماثلة بين النطاقات الأصلية والنطاق المدمج.

ويفيد هذا معالجة التدفقات أيضًا. لنأخذ وصلة بين orders وcustomers على معرّف العميل. عندما يتطابق تقسيم المفاتيح فيهما، يمكن معالجة السجلات المتطابقة معًا. وإذا كان لأحد المواضيع عشرة أقسام وللآخر ستة عشر، فقد يضطر إطار العمل أولًا إلى إعادة خلط البيانات.

يعتمد Northguard على انقسامات ودمجات بأسلوب الأصدقاء (buddy)، فتكون لحدود فضاء المفاتيح في النطاقات محاذاة عبر المواضيع. واتخذت LinkedIn هذا الاختيار جزئيًا لتتمكن أطر المعالجة من تخطي عمليات الخلط هذه عند وصل التدفقات على المفتاح نفسه.

مستوى التحكم احتاج إلى تغييرات أيضًا

غيّر انتقال Kafka من ZooKeeper إلى KRaft طريقة تخزين البيانات الوصفية، لكن العنقود لا يزال يملك آلة حالة منطقية واحدة للبيانات الوصفية ومتحكمًا نشطًا واحدًا. وتسمي LinkedIn مستوى التحكم المركزي هذا عنق زجاجة عند بلوغ ملايين نسخ الأقسام المتماثلة.

يوزع Northguard البيانات الوصفية على vnodes. وكل vnode آلة حالة منفصلة مدعومة بـ Raft يرأسها منسّق (coordinator). وتشكل الـ vnodes مجتمعةً حلقة تجزئة:

8.mmetadata hash ring

تُعيَّن البيانات الوصفية للمواضيع بناءً على اسم الموضوع، بينما تُعيَّن البيانات الوصفية للنطاقات والمقاطع بناءً على معرّف النطاق. وتسمي LinkedIn هذا آلة الحالة المتماثلة المجزأة ديناميكيًا (Dynamically-Sharded Replicated State Machine)، أو DS-RSM، وتذكر عمليات نشر تعمل بـ 128 منسّقًا وآلة حالة أو أكثر.

يتولى كل منسّق البيانات الوصفية العائدة إلى vnode الخاص به، ومنها انقسامات النطاقات ودمجها وحالة المقاطع وتعيينات النسخ المتماثلة وحذف المواضيع. ولم يعد لزامًا أن تمر هذه العمليات كلها عبر قائد بيانات وصفية واحد.

ليست كل الحالة تمر عبر Raft

يحتاج الوسطاء أيضًا إلى عناوين الاتصال وخصائص الوسطاء ومعرفة كافية بحلقة الـ vnodes لتوجيه الطلبات. ويوزع Northguard هذه الحالة العامة الدنيا عبر الثرثرة (gossip)، معتمدًا على SWIM للعضوية واكتشاف الأعطال.

وتبقى البيانات الوصفية المرجعية للمواضيع والنطاقات والمقاطع في الـ vnodes المدعومة بـ Raft:

9.raft and swim

تتيح الثرثرة للوسيط تحديد موقع المنسّق المسؤول عن طلب ما. أما تغيير البيانات الوصفية نفسه فتقرره آلة الحالة المتماثلة الخاصة بالمنسّق. وهكذا يسلك نشر معلومات العضوية وإجراء التحديثات المرجعية مسارين مختلفين.

Northguard يعيد التفكير في مسار القرص أيضًا

يعتمد Kafka على الإدخال/الإخراج التسلسلي وذاكرة الصفحات المؤقتة (page cache) في نظام التشغيل والنقل بلا نسخ (zero-copy) كلما أمكن. أما مخزن المقاطع الافتراضي في Northguard، fps store، فيجمع بين WAL وملف واحد لكل مقطع وDirect I/O وفهرس متناثر في RocksDB وذاكرة مؤقتة يديرها التطبيق.

يجمّع المخزن عمليات الإلحاق في دفعات، ويكتب إلى WAL، ويلحق السجلات بملفات المقاطع، ويستدعي fsync، ويحدّث الفهرس. ويتخطى Direct I/O التخزين المؤقت المعتاد في ذاكرة الصفحات؛ ويملأ Northguard ذاكرته المؤقتة الخاصة بناءً على ما يعرفه عن تدفقات الاستهلاك النشطة.

وهذا يمنح LinkedIn تحكمًا أكثر صراحةً في التخزين المؤقت. كما تبقى الأقراص المحلية في مسار الكتابة، على خلاف نهج تخزين الكائنات في Kafka بلا أقراص (diskless). ويمكن استبدال تخزين المقاطع، لكن الإعداد الافتراضي المنشور يعتمد على وحدات نسخ متماثل صغيرة على أقراص محلية لتلبية متطلبات زمن الاستجابة لدى LinkedIn.

مقارنة الديمومة تستدعي الحذر

تقدم LinkedIn معاملات الإعداد التالية لعمليتَي النشر لديها:

عملية النشر لدى LinkedIn مزامنة القرص عتبات المزامنة/الدفعة المبلَّغ عنها
Kafka مزامنة كسولة 10 ثوانٍ أو 20,000 سجل
Northguard fsync على كل نسخة متماثلة قبل الإقرار للمنتج 10 ms أو 20,000 سجل أو 10 MB

وبحسب LinkedIn، يحقق Northguard أهداف مستوى الخدمة (SLO) لأداء Kafka مع تقديم ضمانات أقوى لاستمرارية البيانات على القرص. ولا يتضمن الإعلان إعداد قياس أداء قابلًا للتكرار ولا نسب مئوية لزمن الاستجابة تدعم تلك المقارنة.

أما بالنسبة لديمومة الكتابات المُقَرّ بها، فيعتمد Kafka عادةً على النسخ المتماثل بدلًا من اشتراط fsync على كل نسخة متماثلة قبل كل إقرار. وما يُبلَّغ عنه هنا هو أن LinkedIn، بعد إعادة تصميم مسار التخزين لديها، استطاعت تحمّل متطلب المزامنة الأشد. ولا يثبت هذا أن لدى Kafka حدًا متأصلًا في الديمومة، ولا أن Northguard أسرع عمومًا.

الإنتاج تدفق وليس سلسلة من استدعاءات RPC مستقلة

تعتمد عمليات البيانات الوصفية على استدعاءات الطلب والرد العادية. أما الإنتاج والاستهلاك والنسخ المتماثل فتعتمد على بروتوكولات بث ذات جلسات (sessionized streaming protocols).

يجري المنتج مصافحة (handshake) مع قائد المقطع النشط ثم ينقل عمليات الإلحاق عبر خط أنابيب داخل نافذة تحدد كمية البيانات قيد الإرسال. وقد يقر الوسيط بعدة عمليات إلحاق دفعة واحدة، لكن فقط بعد أن تُثبَّت سجلاتها. ويجري الاستهلاك تدفق البيانات في الاتجاه المعاكس، مع تحكم العميل في النافذة؛ ويتبع النسخ المتماثل نموذج البث نفسه.

ويجلب البروتوكول الجديد أيضًا تحدي ترحيل. فآلاف التطبيقات تعتمد بالفعل على عملاء Kafka وتعرف أي عنقود فعلي يخزّن مواضيعها. وتحتاج إلى تجريد إضافي قبل أن يتغير التخزين تحتها بشفافية.

Xinfra يجعل Pub/Sub افتراضيًا

يقع Xinfra بين التطبيقات وتخزين السجلات الذي تحتها:

10.kafka with xinfra

تتحدث التطبيقات إلى عملاء Xinfra عبر واجهة برمجية موحدة. ويمكن نقل الموضوع بين عناقيد فعلية، أو بين Kafka وNorthguard، مع الاحتفاظ باسمه المنطقي. ويتطلب هذا اعتماد عميل Xinfra؛ فعملاء Kafka الحاليون لا يحصلون على طبقة الوساطة هذه مجانًا.

وقت إعلان يونيو 2025 ذكرت LinkedIn أن أكثر من 90% من تطبيقاتها تستخدم عملاء Xinfra.

المواضيع لها حقب (epochs)

يتتبع موضوع Xinfra التغييرات في تخزينه الفعلي عن طريق الحقب:

11.epoch

يمكن للتطبيق مواصلة استخدام payments بينما توجد إحدى الحقب في Kafka والتالية في Northguard. وتحتوي كل حقبة على الشظايا (shards) التي تكوّن ذلك الإصدار من الموضوع. ويحصل العملاء على التعيين الفعلي من البيانات الوصفية لـ Xinfra بدلًا من أن يكون مشفّرًا في إعدادات التطبيق.

من Kafka إلى Northguard دون إيقاف كل شيء

ينشئ Xinfra حقبة جديدة في الوجهة. ويُرحَّل المنتجون أولًا ويكتبون لفترة إلى النظامين معًا:

12.kafka-northguard

وبفضل الكتابة المزدوجة يمكن التراجع عن ترحيل فاشل. ويُنقل المستهلكون بعد ذلك؛ وعند اكتمال الانتقال تنتهي الكتابة المزدوجة. ولا يزال المستهلكون قادرين على قراءة الحقب السابقة إلى أن يحذف الاحتفاظ بياناتها. وتقول LinkedIn إن التطبيقات تواصل العمل وتُحفظ ضمانات الترتيب طوال الانتقال.

وبحلول يونيو 2025 ذكرت LinkedIn أنها رحّلت آلاف المواضيع التي تعالج تريليونات السجلات يوميًا. وكان Kafka وNorthguard لا يزالان يعملان بالتوازي. وتعكس هذه الأرقام حالة الطرح وقت نشر التقرير، لا استبدالًا كاملًا لـ Kafka.

Xinfra يخفي أيضًا حدود العنقود

يستطيع Xinfra تجميع المواضيع الموجودة في عناقيد فعلية مختلفة في عنقود افتراضي واحد:

13.virtual cluster

يستطيع المستهلك الاشتراك في هذه المواضيع عبر البيئة المنطقية نفسها، حتى لو كانت مخزنة في أنظمة منفصلة. وهذا يتيح لـ LinkedIn التعامل مع أحمال أكبر من عنقود فعلي واحد وتغيير أماكن وضع المواضيع دون إجبار كل تطبيق على تتبع الطوبولوجيا.

التعقيد لم يختفِ

تصبح واجهة التطبيق البرمجية أبسط، لكن Xinfra يجلب بنية تحتية إضافية يجب أن يشغّلها فريق المنصة:

  • MySQL يحفظ تعيينات المواضيع والعناقيد الافتراضية والفعلية.
  • ZooKeeper يتولى العضوية والقيادة وتخصيص مجموعات المستهلكين.
  • Vitess يحفظ نقاط تحقق المستهلكين، بينما يعمل Couchbase كذاكرة مؤقتة منخفضة زمن الاستجابة.

ومع عناقيد LinkedIn البالغ عددها نحو 150، قد يؤتي تمركز هذا العمل ثماره. أما مع عنقودَي Kafka، فقد تكلف إدارة الطبقة الافتراضية أكثر من المشكلة التي تعالجها.

ربما ما تجاوزته LinkedIn حقًا هو القسم

يقسّم Northguard وXinfra المسؤوليات على ثلاثة مستويات. تحدد النطاقات فضاء المفاتيح المنطقي والترتيب، بينما تحدد المقاطع النسخ المتماثل والتوزيع. وتتقاسم مجموعات Raft منفصلة عمل إدارة البيانات الوصفية. ويفصل Xinfra الموضوع الذي تراه التطبيقات عن النظام الفعلي الذي يخزنه:

14.data plane

إن رؤية هذا على أنه تجاوز LinkedIn للقسم هو تفسيري الخاص. فمقالتها تسمي عدة مشكلات محددة: وحدات النسخ المتماثل الخشنة، والأقسام المفهرسة، والموازنة، والبيانات الوصفية المركزية. وما يربط بينها هو كثرة العمليات التي تعتمد على حدود التوزيع والترتيب نفسها.

كان Kafka قد أوصل LinkedIn إلى نطاق لافت. وفي منظومة فيها أربعون موضوعًا وستة وسطاء، سيكون بناء Northguard وXinfra جوابًا باهظ التكلفة جدًا عن مشكلات التشغيل اليومية. والسؤال الجدير بالطرح هو: أي التكاليف في نظامك تنبع من حمل العمل، وأيها ينبع من ربط الترتيب والنسخ المتماثل والتوزيع والتوازي بقسم واحد.