الطوابير في Kafka: اليوم وغدًا
تعرّف على كيفية تمكينك نمط KMQ من تنفيذ بعض ميزات الطوابير في Kafka منذ اليوم.
Kafka هي المنصة الأولى للمراسلة والبث، والمعيار الفعلي لنقل كميات كبيرة من البيانات. تجريدها الأساسي هو الموضوع (topic)، الذي يُقسَّم إلى أقسام (partitions). وبفضل هذا التقسيم تتوسع مواضيع Kafka بشكل ممتاز، ولا يحدّ منها سوى عدد الأقسام.
يمكن استهلاك المواضيع بأسلوب النشر والاشتراك، أي أن كل عميل يتلقى كل رسالة تُنشر في الموضوع. لسيناريوهات البث هذه استخداماتها، لكننا في أغلب الأحيان نريد أن تستهلك مجموعة من العملاء الرسائل بالتعاون، بحيث يتلقى كل عميل مشترك مجموعة فريدة من الرسائل. وبعبارات JMS، نريد أن يعمل Kafka كطابور (queue) لا كموضوع (topic).
يمكن تحقيق ذلك عبر مجموعات المستهلكين: ففي داخل المجموعة يُسند إلى كل مستهلك مجموعة من الأقسام ليستهلك الرسائل منها. ويضمن منسّق مجموعة المستهلكين أن كل قسم مُسنَد إلى عميل ما، وأنه لا يُسنَد أي قسم إلى عميلين.
على مر السنين أثبت هذا النهج جدارته. ومع ذلك فإنه لا يغطي كل حالات الاستخدام، ولهذا هناك KIP (عملية تحسين Kafka) قيد التنفيذ لإضافة المزيد من إمكانات الطوابير إلى Kafka: KIP-932: Queues for Kafka.
سنبدأ بالنظر في ما تقدمه مجموعات المستهلكين وأين تقصّر. بعد ذلك سنستعرض الميزات الجديدة التي يقترحها KIP-932. وأخيرًا سنبيّن كيف يمكن تنفيذ بعض ميزات الطوابير في Kafka منذ اليوم باستخدام نمط KMQ.
إذا كنت تعرف مجموعات المستهلكين جيدًا، فلا تتردد في تخطي القسم التالي والانتقال مباشرة إلى مجموعات المشاركة.
مجموعات المستهلكين
مجموعات المستهلكين ميزة في Kafka حظيت ببحث وتوثيق وافيين، لذا سنكتفي بنظرة موجزة على سلوكها وما يحدّ منها.
بدايةً، لاحظ أن الموضوع الواحد يمكن أن تكون له مجموعات مستهلكين كثيرة، تستهلك كل منها البيانات باستقلالية. وينطبق هذا على كل نهج يتناوله هذا المقال؛ ولتبسيط الأمور سنركز دائمًا على كيفية تفاعل مجموعة مستهلكين/مشاركة واحدة مع موضوع واحد (له عادةً أقسام كثيرة).
إسناد الأقسام
كما ذُكر أعلاه، يحصل كل مستهلك ينتمي إلى مجموعة مستهلكين على مجموعته الفريدة من الأقسام ليستهلك البيانات منها، ويملك وصولًا حصريًا إلى تلك الأقسام.
وهذا يكشف القيد الأول: عدد الأعضاء في مجموعة المستهلكين محدود بعدد الأقسام. فوجود أعضاء أكثر من الأقسام لا طائل منه، لأن بعض الأعضاء سينتهي بهم الأمر بلا أقسام يستهلكون منها. ورغم أنه يمكن تغيير عدد أقسام موضوع قائم، فإن ذلك مُربِك ويؤثر في كيفية تقسيم البيانات. لذا من الأفضل التخطيط مسبقًا – وهذا ليس سهلًا أبدًا.
كلما انضم عضو جديد إلى مجموعة مستهلكين، تُعاد موازنة المجموعة (rebalance). افتراضيًا تهدف الخوارزمية إلى إعطاء كل عضو عددًا متساويًا تقريبًا من الأقسام. ومع ذلك فإن إعادة الموازنة هذه مُربِكة، حتى وإن كانت إصدارات Kafka الحديثة تجريها بشكل تدريجي. فإذا كان قسم كان يخص العضو A مقررًا الآن أن يستهلكه العضو الجديد B، فعلينا أولًا التأكد من أن A يتوقف عن الاستهلاك منه وينهي معالجته؛ وبعد ذلك فقط يستطيع B تولّيه. وتُعرف هذه العملية بالعزل (fencing).
معالجة الرسائل
أما عن المعالجة نفسها، فيجلب كل عضو الرسائل من المواضيع المسندة إليه بالترتيب الذي تقع به على الأقسام. ولذلك فإن الاستهلاك مرتّب جزئيًا: إذا كانت الرسالتان M1 وM2 في القسم نفسه وM1 أسبق في سجل ذلك القسم، فسيتلقى العضو M1 قبل M2. أما عبر الأقسام فلا يوجد أي ضمان بشأن ترتيب الرسائل المستلمة.
بعد معالجة الرسائل يمكن تثبيت (commit) إزاحتها (offset) في Kafka، بحيث عند إعادة بدء الاستهلاك (بسبب انهيار أو إعادة موازنة) يُستأنف التسليم من الرسائل التي لم تُعالَج بعد (غير المثبّتة). ويتلخص التثبيت في الكتابة إلى موضوع خاص هو __consumer_offsets، وهو نفسه مقسّم على وسطاء Kafka (brokers).
لكن في مجموعة المستهلكين لا يمكن تثبيت الرسائل إلا حتى إزاحة معيّنة: كل ما نستطيع قوله إن كل رسالة إزاحتها أقل من إزاحة معطاة تُعد مثبّتة. هذا الحل بسيط وسريع، لكنه محدود – إذ لا يمكن الإقرار بالرسائل واحدة واحدة، بل على دفعات حتى إزاحة معيّنة فقط.
يمكن بالطبع معالجة الرسائل فرديًا وتثبيت كل إزاحة قبل الانتقال إلى الرسالة التالية. لكن كلفة الأداء لذلك ستكون شديدة وواسعة النطاق، ولذلك نادرًا جدًا (إن حدث أصلًا) ما يُجمع هذا النهج مع Kafka. فهو ببساطة يتعارض مع طريقة تصميم مجموعات المستهلكين وآلية تثبيت الإزاحات.

خصائص أخرى
كما لا يمكنك طلب إعادة تسليم رسالة واحدة أو وسم رسالة بأنها غير قابلة للمعالجة. ويمكن أن يسبب نمط الاستهلاك الذي تدعمه مجموعات المستهلكين مشكلات أيضًا عندما تستغرق الرسائل أزمنة معالجة مختلفة جدًا. وهذا ما يسمى الحجب في رأس الصف (head-of-line blocking). فقد تؤخر رسالة واحدة تستغرق معالجتها وقتًا أطول بكثير من غيرها جميع الرسائل اللاحقة من ذلك القسم: ففي تدفق المستهلك النموذجي نجلب أولًا دفعة من الرسائل، ثم نعالجها (ربما بالتوازي)، وأخيرًا نثبّت إزاحاتها بعد معالجة جميعها.
يمنحنا اتباع خوارزمية الاستلام ثم المعالجة ثم تثبيت الإزاحات دلالات تسليم مرة واحدة على الأقل (at-least-once): فقد تنهار العملية بين المعالجة وتثبيت الإزاحات. وإذا حدث ذلك، فستُسلَّم الرسائل التي لم تُثبَّت إزاحاتها وتُعالَج مرة أخرى بعد إعادة إسناد القسم.
أما تبديل خطوات هذا التدفق – الاستلام ثم تثبيت الإزاحات ثم المعالجة – فيعطينا بدلًا من ذلك مرة واحدة على الأكثر (at-most-one).
ومن حيث الأداء، يصعب التفوق على مجموعات المستهلكين: فالرسائل تُجلب على دفعات، وتُثبَّت الإزاحات على دفعات أيضًا، وربما في الخلفية.
ملخص مجموعات المستهلكين
- كل عضو في مجموعة المستهلكين يحصل على مجموعة حصرية من الأقسام ليستهلك البيانات منها
- عدد المستهلكين – وبالتالي مدى توازي معالجة البيانات – محدود بعدد الأقسام
- الرسائل التي يتلقاها المستهلكون مرتبة جزئيًا داخل كل قسم مُسنَد
- لا يمكن تثبيت الرسائل إلا على دفعات “كلها حتى إزاحة معيّنة”
- الإقرار الفردي وإعادة تسليم الرسائل غير ممكنين
- عندما تتفاوت أزمنة معالجة الرسائل، قد يؤثر الحجب في رأس الصف في زمن معالجة الرسائل داخل القسم
- تُعالَج الرسائل بدلالات مرة واحدة على الأقل أو مرة واحدة على الأكثر
- العبء التواصلي منخفض جدًا: لا حاجة لتثبيت الإزاحات إلا من حين لآخر
- الأداء مرتفع جدًا
طوابير لـ Kafka: مجموعات المشاركة
لإزالة بعض قيود مجموعات المستهلكين الموصوفة أعلاه، يقترح KIP-932: Queues For Kafka إضافة تجريد مجموعة المشاركة (share group) إلى Kafka. تتيح مجموعات المشاركة، مثل مجموعات المستهلكين، استهلاك رسائل موضوع Kafka بالتعاون. غير أن هناك عدة فروق مهمة.
إسناد الأقسام
عندما ينضم عضو إلى مجموعة مشاركة، يُسنَد إليه عدد من أقسام المشاركة (share-partitions) يمكنه جلب الرسائل منها لمعالجتها. وعلى خلاف مجموعات المستهلكين، فإن هذا الإسناد ليس حصريًا: فقد يُسنَد القسم نفسه إلى أعضاء كثيرين ويستهلكون منه البيانات. وهذا يزيل السقف الذي يفرضه عدد الأقسام على عدد أعضاء المجموعة. وفي الوقت نفسه يجلب مشكلة أصعب بكثير: ضمان حصول كل عضو على رسائل مختلفة ليعالجها.
قبل أن نخوض في ذلك، لنلقِ نظرة أدق على كيفية انضمام عضو إلى مجموعة مشاركة. يرسل العضو المنضم حديثًا نبضة (heartbeat) إلى منسّق المجموعة، الذي يقيم على أحد الوسطاء – قائد القسم لموضوع إزاحات المستهلكين. يشغّل ذلك الوسيط خوارزمية إسناد الأقسام، وفي الرد على النبضة يحصل العضو على أقسام المشاركة التي ينبغي أن يستهلكها. يمكن أن تتغير الإسنادات، ويعرف الأعضاء الآخرون الأقسام التي أُضيفت إليهم أو سُحبت منهم عبر نبضاتهم التالية.
لا حاجة إلى العزل، لأن عدة أعضاء يمكنهم استهلاك رسائل من قسم واحد. لذا حتى لو استهلك قسمًا، لفترة قصيرة، أعضاء أكثر مما قصدته خوارزمية الإسناد، فلا فرق في ذلك. وهذا يجعل إعادة الموازنة أبسط، دون أحداث عزل “توقف العالم”.
معالجة الرسائل
عند هذه النقطة ينتهي عمل منسّق المجموعة. ثم يرسل الأعضاء طلب جلب رسائل إلى كل قسم مشاركة مُسنَد إليهم. يتتبع كل قسم مشاركة حالة الرسائل التي يحتفظ بها؛ ويمكن أن تكون الرسالة:
- متاحة (available) للاستهلاك
- مُستحوَذًا عليها (acquired) لكن لم يُقرّ بها بعد (أي قيد المعالجة حاليًا)
- مُقرًّا بها (acknowledged)
- مرفوضة (rejected)
عند تلقي طلب جلب رسائل جديد من عضو، يفحص قسم المشاركة حالته الداخلية ويقرر أي الرسائل يسلّم. ويحاول قسم المشاركة، حيثما أمكن، تسليم الرسائل على دفعات – بحيث يمكن أيضًا تجميع الإقرارات على دفعات (بتمرير نطاقات إزاحات بدلًا من إزاحات فردية). وهذا مهم جدًا للأداء بطبيعة الحال.
من بين الرسائل المتاحة للاستهلاك، يختار قسم المشاركة دفعة ويعلّمها بأنها مستحوَذ عليها. ثم تُسلَّم هذه الرسائل إلى العضو لمعالجتها وتبقى في حالة الاستحواذ لمدة زمنية محددة. وإذا لم تُعلَّم بأنها عولجت قبل انقضائها، تعود إلى حالة المتاحة. والنموذج مشابه لـ SQS مثلًا أو Pub/Sub من GCP، حيث يجب الإقرار بمعالجة الرسائل ضمن نافذة زمنية معينة، وإلا أُعيد تسليم الرسائل.

خصائص أخرى
لكل رسالة (أو نطاق من الرسائل) عدّاد تسليم مرفق بها. يزداد العدّاد في كل مرة تنتهي فيها مهلة الاستحواذ على الرسالة أو يقوم العضو صراحةً بـتحرير (release) رسالة (للإشارة إلى أنه ينبغي إعادة تسليمها). وعندما يتجاوز عدد محاولات التسليم حدًّا معينًا، تصبح الرسالة مرفوضة ولا تُجرى أي محاولة تسليم أخرى. لا يوجد DLQ – على الأقل حتى الآن، وإن كان مذكورًا كإضافة محتملة مستقبلًا. كما ينبغي اعتبار عدّاد التسليم تقديرًا تقريبيًا فقط، لأن أعطال الوسطاء قد تجعله يختلف عن العدد الفعلي لمحاولات التسليم والمعالجة.
يحدّ تطبيق مجموعات المشاركة في Kafka كلًّا من المدة التي قد تستغرقها معالجة رسالة (كما شُرح أعلاه) وعدد الرسائل التي يمكن أن تكون قيد التنفيذ، أي المتاحة للتسليم. ويحكم ذلك إزاحتا بداية ونهاية قسم المشاركة (SPSO وSPEO). وإلى جانب حالات الرسائل (مُقرّ بها/مرفوضة/عدّاد التسليم)، تشكّل SPSO أيضًا جزءًا من حالة قسم المشاركة.
وبما أن مستهلكين كثيرين يمكنهم الحصول على رسائل من أي قسم، ويمكن الإقرار بالرسائل واحدة واحدة، فلا توجد ضمانات ترتيب على الإطلاق. فعند ورود طلب جلب، يمكن تسليم أي رسالة متاحة إلى المستهلك. وقد تظهر فجوات لأن بعض الرسائل يُعاد تسليمها أو سبق الإقرار بها؛ وإضافة إلى ذلك، يحصل مستهلكون مختلفون على دفعات مختلفة من الرسائل المتاحة.
المنسّقون والحفظ الدائم
يجب حفظ حالة قسم المشاركة بشكل دائم لتنجو من انهيارات الوسطاء. ويحدث ذلك في موضوع مخصص ويديره منسّق المشاركة (share coordinator). وكما تتوزع مهام منسّق المجموعة عبر الوسطاء، تتوزع مهام منسّق المشاركة أيضًا. يحفظ منسّق المشاركة حالات الرسائل وحِقَب المجموعات (group epochs) في موضوع مخصص شديد التقسيم. ويعمل إلى جانب قائد قسم الموضوع __share_group_state الذي يخزّن بيانات قسم مشاركة معيّن. ويمكن معرفة أي وسيط هو ذلك عبر بروتوكول في Kafka لتحديد مواقع المنسّقين (الآلية نفسها تخدم التطبيق الجديد لمجموعات المستهلكين ومنسّقي المجموعات ومنسّقي المشاركة). يمكنك قراءة المزيد عنه في KIP-848: Next Generation of Consumer Rebalance Protocol.
الحالة المحفوظة في الموضوع __share_group_state مختارة عمدًا وتُبقى في حدها الأدنى. فبدايةً، لا يُحفظ الاستحواذ على الرسائل؛ ولا يدخل ذلك في الحالة المحفوظة إلا عند الإقرار بالرسائل أو رفضها. وهذا يقلل حركة البيانات بين الوسطاء وحجم البيانات المطلوب حفظها. ومن ناحية أخرى، إذا انهار وسيط، فقد يُعاد تسليم بعض الرسائل رغم أن نافذة وقت الاستحواذ عليها لم تنقضِ. وقد تتصرف مجموعات المستهلكين بالطريقة نفسها: إذ “يُستحوَذ” على الرسائل عند تسليمها إلى مستهلك، ولا تُحفظ الإزاحات إلا بعد الإقرار بالرسائل. ورغم ضعف الاحتمال، قد ينتهي الأمر بمستهلكين اثنين يعالجان الرسائل نفسها في الوقت نفسه.
كما أن إسنادات مجموعة المشاركة لا تُحفظ – بل الحِقَب فقط، وهي تحمي من منسّقي المجموعات الزومبي (zombie) وتتيح للأعضاء التحقق من أن الإسنادات التي يحصلون عليها حديثة. والغرض من هذه التحسينات تقليص كمية البيانات المحفوظة في الموضوع __share_group_state.
يحتفظ كل منسّق مشاركة بعرض في الذاكرة لحالة أقسام المشاركة التي يخزّن بياناتها، ويكتب من حين لآخر لقطات (snapshots) إلى التخزين الأساسي. وبعد حفظ لقطات جميع أقسام المشاركة، يمكن إزالة أي تحديثات حالة سابقة؛ ويتولى منطق منسّق المشاركة هذا الضغط (compaction) أيضًا.
ملخص مجموعات المشاركة
خلاصة القول، يقدّم KIP الخاص بـ Queues for Kafka مفهومًا جديدًا – مجموعات المشاركة – يتيح لأي عدد من المستهلكين استهلاك الرسائل بالتعاون. وتعمل ثلاثة مكونات جديدة ذات حالة بشكل موزّع عبر وسطاء Kafka: منسّق المجموعة ومنسّق المشاركة وأقسام المشاركة. وهي تحتفظ معًا بعروض في الذاكرة لحالة كل قسم مشاركة (أي الرسائل التي يمكن تسليمها وأيها أُقرّ به وهكذا) ولكيفية إسناد الأعضاء إلى الأقسام. وتُحفظ هذه الحالة في موضوع جديد هو __share_group_state وفي الموضوع الموجود أصلًا __consumer_offsets.
تحدثنا عن مشكلة الحجب في رأس الصف في مجموعات المستهلكين. يمكن لمجموعات المشاركة أن تحلها من حيث المبدأ، شريطة أن يستهلك كل قسم أكثر من مستهلك. ولذلك سنحتاج إلى مستهلكين أكثر بكثير من الأقسام: فافتراضيًا يعطي مُسنِد الأقسام من جانب الوسيط كل مستهلك أقل عدد ممكن من الأقسام. ومع ذلك يمكن توفير مُسنِدات مخصصة، بحيث يُضمن مثلًا أن يستهلك كل قسم عدة مستهلكين. وإذا عولجت الرسائل المسلَّمة في دفعة بالتوازي بدلًا من واحدة بعد أخرى، فيمكن حل الحجب في رأس الصف.
الأداء لا يزال مجهولًا (التصميم ليس نهائيًا بعد – والميزة مقرر حاليًا إدراجها في Kafka 4.0)، أو على الأقل لم نصادف أي اختبارات أداء. ومع ذلك لا ينبغي أن نتوقع مشكلات: فالرسائل تُجلب على دفعات مباشرة من الوسطاء، ويمكن (وينبغي!) أن يُجمَّع الإقرار على دفعات أيضًا. وأحد الأمور التي قد تؤثر في زمن الاستجابة أن الإقرار بالرسائل ينطوي على ما يصل إلى 3 قفزات شبكية (المستهلك -> قسم المشاركة -> منسّق المشاركة -> النسخ المتماثلة)، مقابل قفزتين شبكيتين في مجموعات المستهلكين (المستهلك -> إزاحات المستهلكين -> النسخ المتماثلة). لكن ما دام ذلك يتم على دفعات، فإن الكلفة الإضافية ينبغي أن تُستهلك بسهولة.
لنعد إلى الخصائص المدرجة في ملخص مجموعات المستهلكين:
- كل عضو في مجموعة المشاركة يحصل على مجموعة غير حصرية من الأقسام ليستهلك البيانات منها
- مدى توازي معالجة البيانات غير محدود بعدد الأقسام
- الرسائل المستلمة تأتي دون ترتيب معيّن
- يمكن الإقرار بالرسائل أو رفضها أو تحريرها لإعادة التسليم واحدة واحدة
- يحاول Kafka في الخلفية تجميع تسليم الرسائل والإقرار بها على دفعات
- يمكن حل مشكلة الحجب في رأس الصف من حيث المبدأ
- يمكن معالجة الرسائل بدلالات مرة واحدة على الأقل أو مرة واحدة على الأكثر
- العبء التواصلي منخفض: يجب الإقرار بالرسائل (ربما على دفعات) وحفظ حالة قسم المشاركة
- الأداء غير معروف بعد لكنه ينبغي أن يكون مرتفعًا
KMQ
KMQ نمط ينفّذ الإقرار الفردي بالرسائل فوق الوظائف التي تقدمها مجموعات المستهلكين في Kafka، لذا يعمل مع أي إصدار من Kafka. وقد تلاحظ بعض أوجه الشبه بين تصميمي KMQ ومجموعات المشاركة. غير أن KMQ أبسط بكثير في التنفيذ والنشر، وهذا يعني أيضًا أنه يعالج بعض نقاط ضعف مجموعات المستهلكين فقط. يعيش KMQ بالكامل في جانب المستهلك، على عكس مجموعات المشاركة التي يعمل جزء كبير من منطقها داخل الوسطاء.
وكما تعتمد مجموعات المشاركة على مكونات إضافية (منسّقو المجموعات والمشاركة وأقسام المشاركة) ومواضيع إضافية لحفظ البيانات الوصفية (__consumer_offsets و__share_group_state)، يعتمد KMQ على مكوّن إضافي واحد – متتبّع إعادة التسليم (redelivery tracker) – وموضوع إضافي واحد للبيانات الوصفية، هو موضوع markers.
معالجة الرسائل
يتطلب استهلاك الرسائل من موضوع بضع خطوات إضافية في جانب المستهلك. وهذا يشبه استخدام KafkaShareConsumer المخصص في مجموعات المشاركة ويأتي ضمن حزمة KMQ المنشورة. ومع ذلك، حسب علمنا، يتعامل كثيرون مع KMQ كنمط ويكتفون بنسخ منطق استلام الرسائل إلى قاعدة شيفرتهم وتعديله بحسب حاجتهم.
ينبغي أن يشكّل مستهلكو موضوع KMQ مجموعة مستهلكين، لذا – تمامًا كما في مجموعات المستهلكين – يكون توازي المعالجة محدودًا بعدد أقسام الموضوع الذي يحتوي الرسائل. وبعد استلام دفعة من الرسائل من أقسامه المُسنَدة، ينبغي للمستهلك كتابة علامات start لكل رسالة مستلمة (وهي قابلة للمقارنة بحالة acquired في مجموعات المشاركة). وهنا يكمن الفرق الأساسي عن مجموعات المستهلكين: فبمجرد كتابة علامات البدء، ينبغي للمستهلك تثبيت إزاحات الموضوع المستهلَك ثم معالجة الرسائل بعد ذلك فقط. وعند انتهاء المعالجة، ينبغي للمستهلك كتابة علامات end، وهو ما يقابل الإقرار بالرسائل في مجموعات المشاركة.

إعادة تسليم الرسائل
لإعادة تسليم الرسائل بشكل صحيح، يلزم مكوّن إضافي – متتبّع إعادة التسليم. ينبغي نشره مثل أي تطبيق Kafka آخر، ويستهلك موضوع markers بالتعاون ضمن مجموعة مستهلكين (مختلفة عن المجموعة المذكورة أعلاه). وكما تتوزع مهام منسّق المشاركة على عقد الوسطاء في مجموعات المشاركة، تتوزع هنا مهام متتبّع إعادة التسليم على عقد المستهلكين. وعندما تفشل عقدة من متتبّع إعادة التسليم، تؤدي إعادة موازنة مجموعة المستهلكين إلى تسليم أقسامها إلى نسخ متتبّع إعادة التسليم العاملة المتبقية.
يستهلك متتبّع إعادة التسليم علامات البدء والانتهاء من موضوع markers ويحدّث حالته الداخلية، التي تعكس حالة تسليم الرسائل. ويعتمد KMQ على آلية مهلة مماثلة، فيعيد تسليم الرسائل عندما لا تُكتب علامة end ضمن مهلة الرسالة المضبوطة. وإعادة تسليم رسالة تعني ببساطة كتابتها مرة أخرى في موضوعها، ويُحدَّث عدّاد التسليم في البيانات الوصفية للرسالة في اللحظة نفسها. وعندما يتجاوز عدّاد التسليم الحد المضبوط، تُكتب الرسالة بدلًا من ذلك إلى DLQ.
يثبّت متتبّع إعادة التسليم الإزاحات في موضوع markers باستخدام أعلى إزاحة. لكل علامة start علامة end مقابلة (وتُكتب هذه أيضًا للرسائل التي انتهت مهلتها). وبفضل ذلك يمكن إعطاء موضوع markers مدة احتفاظ تساوي مثلًا ضعف مهلة الرسالة، مما يترك لمتتبّع إعادة التسليم متسعًا من الوقت لإعادة تسليم أي رسائل انتهت مهلتها.
وأخيرًا، بشأن الأداء: كتابة علامات البدء والانتهاء تضيف عبئًا بالفعل، لكنها مثل الحلول الأخرى يمكن تجميعها على دفعات، مما يوزّع الكلفة بحيث تنتهي منخفضة نسبيًا لكل رسالة. وكما في مجموعات المستهلكين، يستغرق “الإقرار” بالرسائل – أي كتابة علامات الانتهاء – قفزتين شبكيتين (المستهلك -> موضوع markers -> النسخ المتماثلة). وقد أجرينا قبل فترة اختبار أداء لـ KMQ مقابل مجموعات المستهلكين وحصلنا على نتائج إنتاجية مماثلة.
ملخص KMQ
- كل مستهلك يحصل على مجموعة حصرية من الأقسام ليستهلك البيانات منها
- مدى توازي معالجة البيانات محدود بعدد الأقسام
- الرسائل المستلمة تأتي دون ترتيب معيّن
- يمكن الإقرار بالرسائل واحدة واحدة؛ والرفض والتحرير غير منفّذين، لكن إضافتهما ستكون بسيطة
- تُكتب العلامات على دفعات عبر آليات تجميع الكتابة القياسية في Kafka
- قد يكون الحجب في رأس الصف مشكلة، تمامًا كما في مجموعات المستهلكين
- تُعالَج الرسائل بدلالات مرة واحدة على الأقل
- العبء التواصلي متوسط: يجب كتابة علامة بدء وعلامة انتهاء لكل رسالة، ويجب تثبيت الإزاحات بشكل دوري
- الأداء مرتفع
مقارنة
نظرنا عن كثب في ثلاث طرق يمكن بها لعدة عملاء مستهلكين استهلاك الرسائل من موضوع Kafka بالتعاون. وفيما يلي ملخص لما تقدمه كل طريقة:
| مجموعات المستهلكين | مجموعات المشاركة | نمط KMQ | |
|---|---|---|---|
| التوافر | جزء من Kafka جاهز للاستخدام | قد تصل في إصدارات Kafka المستقبلية | نمط تنفّذه فوق أي إصدار من Kafka |
| الإقرارات | فقط كل الرسائل حتى إزاحة معيّنة | إقرارات لكل رسالة | إقرارات لكل رسالة |
| عدد المستهلكين (توازي المعالجة) | محدود بعدد الأقسام | بلا سقف | محدود بعدد الأقسام |
| الترتيب | الرسائل مرتبة داخل كل قسم | بلا ترتيب | بلا ترتيب |
| الحجب في رأس الصف | قد يحدث | يمكن تفاديه | قد يحدث |
| دلالات التسليم | مرة واحدة على الأقل / مرة واحدة على الأكثر | مرة واحدة على الأقل / مرة واحدة على الأكثر | مرة واحدة على الأقل |
| العبء التواصلي | منخفض جدًا | منخفض | متوسط |
| الأداء | مرتفع جدًا | مرتفع على الأرجح | مرتفع |
اعتمادًا على أسسه البسيطة، يواصل Kafka إضافة وظائف جديدة وتلبية احتياجات شتى حالات الاستخدام. فمن حيث الأساس، يضمن Kafka متانة البيانات بتكرار المواضيع عبر عدة وسطاء، ويوفّر قابلية التوسع بتقسيم المواضيع إلى عدد من الأقسام. لهذا التصميم حدوده، لكن التطبيقات المصمَّمة جيدًا غالبًا ما تستطيع التحايل عليها.
ويوضّح طابور الرسائل ذلك جيدًا: ففي حالات كثيرة تكفيك مجموعات المستهلكين. وفي حالات الاستخدام الأكثر تطلبًا، قد تكون أنماط مثل KMQ هي الحل. ولحل مشكلة الطوابير في Kafka حلًّا كاملًا، هناك مقترح لتوسيع وظائفه بمجموعات المشاركة.
نأمل أن تكون هذه النظرة العامة مفيدة وأن تساعدك على اختيار الطريقة المناسبة لاستهلاك الرسائل في Kafka.