تقدير المشروع
← كل المقالات

الضغط (Compaction) والاحتفاظ (Retention): حالات حدّية تشوّه مقاييس التأخر في Kafka

هل يمكنك الوثوق بلوحة تأخر Kafka لديك؟ اكتشف كيف يمكن لضغط السجلات (log compaction) والاحتفاظ أن يُخفيا تأخرات هائلة للمستهلكين وكيف تكتشف مقاييس التأخر الزمني المضللة. كثيرًا ما تعتمد الفرق على مقاييس تأخر Kafka لتتبع صحة النظام، لكن سياسات ضغط السجلات والاحتفاظ قد تزيل الرسائل بصمت قبل أن يعالجها أحد. توضح هذه المقالة لماذا تقلّل الصيغة المعتادة للتأخر الزمني – $current\_time - timestamp\_of\_message\_at\_committed\_offset$ – من التأخر الفعلي متى اختفى الإزاحة (offset) المطلوب. ونصف كيف يكتشف "klag-exporter" هذه الأخطاء بمقارنة الإزاحات المطلوبة والفعلية وكذلك العلامات المائية الدنيا (low watermarks). وأخيرًا نقدّم استراتيجيات عملية للتخفيف، مثل ضبط min.compaction.lag.ms وتحسين موارد المستهلكين وإضافة مؤشرات تحذير إلى اللوحات لمراقبة Kafka أكثر مرونة.

6 دقائق قراءة
Apache Kafkaقابلية المراقبةمراقبة التأخرالتأخر الزمني

وفق لوحة المراقبة لديك، فإن مستهلك inventory-updates متأخر 5 ثوانٍ. يبدو كل شيء على ما يرام. ومع ذلك يواصل المستخدمون الإبلاغ عن بيانات قديمة – فأعداد المخزون التي يرونها عمرها 10 دقائق.

تعود إلى المقاييس. لا تزال 5 ثوانٍ. وفق الأرقام، لقد لحقتَ بالركب تقريبًا.

الأرقام لا تقول الحقيقة.

التأخر الزمني (time lag) أهم من تأخر الإزاحة (offset lag)، لكن هناك محاذير: حتى التأخر الزمني المحسوب بشكل صحيح قد يخدعك. فميزتان في Kafka – ضغط السجلات (log compaction) والاحتفاظ (retention) – قادرتان على حذف الرسائل ذاتها التي تعتمد عليها مقاييسك، مما يجعل التأخر المُبلَّغ عنه أقل بكثير من الحقيقي.

اطّلع على أداتنا الجديدة – مُصدِّر تأخر مجموعات مستهلكي Apache Kafka عالي الأداء مكتوب بلغة Rust. وهي تحسب كلًا من تأخر الإزاحة والتأخر الزمني (زمن الاستجابة بالثواني) باستخدام قياسات دقيقة قائمة على الطوابع الزمنية.

دعني أشرح لك كيف يحدث ذلك وما الذي يمكنك فعله لمعالجته.

مراجعة سريعة: كيف يعمل التأخر الزمني

على الورق، حساب التأخر الزمني بسيط:

time_lag = current_time - timestamp_of_message_at_committed_offset

وللحصول على ذلك الطابع الزمني، ننتقل (seek) إلى الإزاحة المثبّتة (committed offset) للمستهلك ونقرأ الرسالة المخزنة هناك. سهل.

لكن ماذا يحدث عندما لا تكون تلك الرسالة موجودة بعد الآن؟

لا يُصدر Kafka خطأ. بل يُعيد بصمت الرسالة التالية المتاحة. وتحمل هذه الرسالة طابعًا زمنيًا أحدث، ولذلك يبدو التأخر الذي نحسبه أصغر مما هو عليه فعلًا.

تخيّل أنك تحكم على مدى تأخر عدّاء بالنظر إلى آخر علامة نقطة تفتيش مرّ بها. فإذا مسح أحدهم العلامات من 1 إلى 10 وكانت أول علامة تراها هي 11، فستسجل العدّاء عند نقطة التفتيش 11 – حتى لو كان في الواقع لا يزال عند نقطة التفتيش 1.

وهذا بالضبط ما يفعله الضغط والاحتفاظ.

مشكلة ضغط السجلات

ضغط السجلات ميزة في Kafka تستخدمها الـ topics المُعدّة بـ cleanup.policy=compact. فبدلًا من تخزين كل رسالة، يحتفظ Kafka بأحدث رسالة فقط لكل مفتاح ويزيل الإصدارات الأقدم.

وهو مثالي لحالات استخدام مثل:

  • تدفقات التقاط تغييرات البيانات (CDC)
  • الـ topics الداعمة لـ KTables
  • مخازن الإعدادات أو الحالة

هكذا يغيّر الضغط الـ partition لديك:

قبل الضغط:

  offset 100: key=user-1, value={"status":"active"},   ts=10:00:00

  offset 101: key=user-2, value={"status":"pending"},  ts=10:00:15

  offset 102: key=user-1, value={"status":"inactive"}, ts=10:00:30  ← newer user-1

  offset 103: key=user-3, value={"status":"active"},   ts=10:00:45

بعد الضغط:

  offset 101: key=user-2, value={"status":"pending"},  ts=10:00:15

  offset 102: key=user-1, value={"status":"inactive"}, ts=10:00:30

  offset 103: key=user-3, value={"status":"active"},   ts=10:00:45

  (offset 100 is gone - compacted away)

مشكلة التأخر

لنفترض أن مستهلكك ثبّت الإزاحة 100 قبل أن يبدأ الضغط. وتريد حساب التأخر الزمني:

  1. الانتقال إلى الإزاحة 100
  2. لا يستطيع Kafka إيجاد الإزاحة 100 (فقد أزالها الضغط)
  3. يُعيد Kafka الإزاحة 101 بدلًا منها
  4. تقرأ الطابع الزمني 10:00:15
  5. وعند الوقت الحالي 10:01:00، تبلّغ عن تأخر 45 ثانية

لكن في الواقع، يقف المستهلك عند الإزاحة 100، التي أُنتجت عند 10:00:00. والتأخر الحقيقي هو 60 ثانية – أي 25% أكثر مما أُبلغ عنه.

في هذا المثال الأساسي يكون الخطأ طفيفًا. أما في الإنتاج فقد يكون هائلًا.

الأثر في الواقع

كثيرًا ما تكون المستهلكات للـ topics المضغوطة بطيئة. وحالة نموذجية: إعادة بناء KTable من الصفر. فقد يكون مستهلكك عند الإزاحة 0، يعالج ببطء ملايين الرسائل بينما يواصل الضغط إزالة البيانات القديمة خلف أحدث إزاحة.

سيناريو محتمل:

  • التأخر الزمني المُبلَّغ عنه: 30 ثانية
  • التأخر الزمني الفعلي: 30 دقيقة

كان المستهلك يعيد بناء حالته من البداية على topic مضغوط بشدة. وكانت آلاف الرسائل الأولى قد ضُغطت بالفعل، ولذلك كان كل بحث عن طابع زمني يعود برسالة أحدث بكثير من موضع المستهلك الحقيقي.

الحذف بالاحتفاظ: حين تسقط إزاحاتك من الجرف

بينما يزيل الضغط رسائل بعينها (القيم الأقدم للمفتاح نفسه)، فإن الاحتفاظ يحذف الرسائل من بداية السجل وفق حدود الزمن أو الحجم.

تحذف السياسة الافتراضية (cleanup.policy=delete) الرسائل بمجرد مرور retention.ms أو عند تجاوز retention.bytes. وتُحذف الرسائل الأقدم دائمًا أولًا.

اليوم 1 (مع ضبط الاحتفاظ على 7 أيام):

  low_watermark = 0

  offset 0: ts=Day1 09:00

  offset 1: ts=Day1 09:01

  offset 2: ts=Day2 10:00

  ...

  high_watermark = 1000

اليوم 8:

  low_watermark = 500  ← moved forward!

  offset 500: ts=Day2 12:00  ← now the earliest message

  ...

  high_watermark = 5000

  (offsets 0-499 deleted by retention)

مشكلة التأخر

لنفترض أن مستهلكك ثبّت الإزاحة 50 قبل حذف تلك الرسائل:

  1. الإزاحة المثبّتة للمستهلك: 50
  2. العلامة المائية الدنيا في Kafka: 500 (الإزاحات 0-499 لم تعد موجودة)
  3. تحاول الانتقال إلى الإزاحة 50
  4. يُعيد Kafka الإزاحة 500 بدلًا منها
  5. الطابع الزمني الذي تقرؤه من اليوم 2، لا من اليوم 1
  6. والتأخر المُبلَّغ عنه خاطئ بـ يوم أو أكثر

لماذا يحدث هذا

مواقف نموذجية تسبب عدم الدقة المرتبط بالاحتفاظ:

  • توقف المستهلك أيامًا أو أسابيع – أوقفه أحدهم أثناء ترحيل ولم يعد يشغّله.
  • مستهلك بطيء على topic عالي الحجم – تتأخر المعالجة، وتنتهي صلاحية الرسائل القديمة قبل استهلاكها.
  • إعادة ضبط إزاحة المستهلك إلى 0 – إعادة تشغيل متعمدة، لكن الرسائل الأقدم حُذفت بالفعل.

في كل حالة من هذه الحالات، سيقلل مقياس التأخر الزمني لديك بشدة من تقدير مدى تأخر المستهلك فعلًا.

الكشف: كيف يضبط klag-exporter هذه الأكاذيب

لحسن الحظ، يمكن اكتشاف الحالتين كلتيهما. كل ما عليك فعله هو مقارنة ما طلبته بما أعاده Kafka فعلًا.

كشف الضغط

requested_offset = committed_offset

actual_offset = offset_of_returned_message

if actual_offset > requested_offset:

    # Gap detected - compaction removed messages

    compaction_likely = true

إذا انتقلنا إلى الإزاحة 100 لكننا تلقينا الإزاحة 101، يمكننا أن نعرف أن شيئًا ما قد ضُغط.

كشف الاحتفاظ

هذه الحالة أبسط – فالعلامة المائية الدنيا (أقدم إزاحة متاحة) تُجلب أصلًا أثناء التشغيل العادي:

if committed_offset < low_watermark:

    # Consumer's position is before the earliest message

    retention_affected = true

عندما تكون إزاحتك المثبّتة 50 والعلامة المائية الدنيا 500، فإن تلك الرسائل ببساطة لم تعد موجودة.

ما الذي يعرضه klag-exporter

يتتبع klag-exporter الحالتين تلقائيًا:

وسوم على مقاييس التأخر، لكل partition:

kafka_consumergroup_group_lag_seconds{..., compaction_detected="true"} 45.2

kafka_consumergroup_group_lag_seconds{..., retention_detected="true"} 120.5

عدّادات الكشف:

kafka_lag_exporter_compaction_detected_total 12

kafka_lag_exporter_retention_detected_total 3

في كل مرة تُكتشف إحدى هاتين الحالتين أثناء عملية جمع (scrape)، يرتفع العدّاد المقابل. وإذا كانا أكبر من الصفر، فأنت تعرف أن بعض أرقام التأخر الزمني لديك لا يمكن الوثوق بها.

ماذا نفعل حيال ذلك

لنلقِ نظرة على الحلول المتاحة أمامنا.

التخفيف للـ topics المضغوطة

أبسط الخيارات وأكثرها مباشرة هو رفع min.compaction.lag.ms، الذي يؤجل الضغط بطبيعة الحال ويمنح مستهلكيك وقتًا أطول للحاق قبل أن تختفي الرسائل. والقيمة الافتراضية 0 (مؤهلة فورًا).

وخيار آخر هو التأكد من أن المستهلكين يواكبون الإيقاع - فإذا كان مستهلكك يتأخر باستمرار عن الضغط، فأصلح المستهلك (وسّعه أو حسّنه أو خصص له موارد أكثر).

وأخيرًا، يمكنك ببساطة التعايش مع هذا القيد – فبالنسبة إلى الـ topics المضغوطة، اقرأ التأخر الزمني على أنه «على الأقل بهذا المقدار» لا كقياس دقيق.

التخفيف للمستهلكين المتأثرين بالاحتفاظ

عندما تكون إزاحة المستهلك خلف العلامة المائية الدنيا، فإن عدم دقة المقاييس هو أقل همومك.

المشكلة الكبرى أن المستهلك فاتته بيانات، وتلك الرسائل ضاعت إلى الأبد. وعليك أن تقرر ما إذا كان ذلك مقبولًا أم أنك تحتاج إلى إعادة التشغيل من مصدر مختلف. يمكنك بالطبع المتابعة مما لا يزال متاحًا، لكن الأهم هو التعمق في السبب الجذري – لماذا تأخر المستهلك إلى هذا الحد (مثلًا لأنه أُوقف أو كان بطيئًا جدًا) – ثم إصلاح تلك المشكلة الكامنة.

للوحات المراقبة

كلما فُعّلت أعلام الكشف:

  • اعرض تأخر الإزاحة كمقياس رئيسي (فهو يبقى دقيقًا)
  • اعرض التأخر الزمني مع مؤشر تحذير
  • أوضح أن القيمة حدّ أدنى

يمكن لضغط السجلات والاحتفاظ إزالة رسائل لم يعالجها مستهلكك بعد. وعندما يحدث ذلك، تقلل مقاييس التأخر الزمني من حجم المشكلة – أحيانًا بشكل كبير. يكتشف klag-exporter الحالتين ويُشير إليهما، فتعرف متى تتعمق بدلًا من الاعتماد الأعمى على الأرقام.

والآن بعد أن عرفت ما يقدمه التأخر الزمني وأين يقصّر، أصبحت جاهزًا لنشر klag-exporter في بيئتك.