ما الذي تخطئ فيه مراقبة تأخر Kafka بصمت
في الثالثة فجرًا ينطلق تنبيهك: "مجموعة المستهلكين orders-processor متأخرة بمقدار 50,000 رسالة." تهرع متوترًا إلى حاسوبك. هل هذا تأخر 10 ثوانٍ أم 10 دقائق أم 10 ساعات؟ التنبيه لن يخبرك. ولوحة المراقبة ما زالت تعرض 50,000 رسالة. فماذا يعني هذا الرقم حقًا لمستخدميك؟
في الثالثة فجرًا ينطلق تنبيهك: “مجموعة المستهلكين orders-processor متأخرة بمقدار 50,000 رسالة.” تهرع متوترًا إلى حاسوبك. هل هذا تأخر 10 ثوانٍ أم 10 دقائق أم 10 ساعات؟ التنبيه لن يخبرك. تفتح لوحة المراقبة – وما زالت تعرض 50,000 رسالة.
فماذا يعني هذا الرقم حقًا لمستخدميك؟
المقياس الذي يراقبه الجميع – تأخر الإزاحة (offset lag) – لا يقول شيئًا يُذكر عن مدى سلامة المستهلك فعلًا. فبحسب معدل تدفق الموضوع (topic)، قد يعني تأخر 1,000 رسالة تأخرًا بمقدار ثانية واحدة أو يومًا كاملًا. ومع ذلك فهذا هو الرقم المعروض على لوحات المراقبة في كل مكان.
أما ما يهم حقًا فهو تأخر الزمن (time lag) – أي كم ثانية يتأخر مستهلكك فعليًا. لكن معظم أدوات المراقبة إما تبلّغ عنه بشكل غير دقيق وإما لا تبلّغ عنه إطلاقًا.
سأشرح فيما يلي السبب، وما الذي يمكنك فعله حيال ذلك.
سراب تأخر الإزاحة
أولًا، الأساسيات. يُحسب تأخر الإزاحة هكذا:
offset_lag = latest_offset - committed_offset
حيث:
- latest_offset هو الموضع الذي ستُكتب عنده الرسالة التالية (high watermark)
- committed_offset يحدد المدى الذي وصل إليه مستهلكك في المعالجة
سهل، أليس كذلك؟ خذ رقمين، اطرح أحدهما من الآخر، وانتهى الأمر.
هذه السهولة هي بالضبط سبب عرض كل أداة مراقبة له. فواجهة Kafka Admin API تعطيك الرقمين مباشرة – لا شيء تجلبه، ولا طوابع زمنية تحلّلها، بيانات وصفية فقط.
وهنا بالضبط ينهار كل شيء.
لا علاقة لتأخر الإزاحة بالزمن على الإطلاق. انظر إلى هذين السيناريوهين:
مقياس من النوع نفسه، لكن بخطورة مختلفة اختلافًا هائلًا. ذلك التنبيه في الثالثة فجرًا عن 50,000 رسالة؟ في موضوع عالي الحركة، قد يفقد مهندس المناوبة نومه بلا سبب. وفي موضوع هادئ، قد تعني حتى 50 رسالة أن المستهلك متوقف منذ أيام.
فخ المنتِج الخامل
الأمر يزداد سوءًا. ماذا يحدث عندما يتوقف منتِج عن إرسال الرسائل؟
يبقى تأخر الإزاحة ثابتًا. فالإزاحة المثبَّتة (committed offset) لا تتغير، إذ لا شيء جديد للاستهلاك. والإزاحة الأخيرة لا تتغير أيضًا، إذ لا شيء يُنتَج. والفرق؟ لا يتغير إطلاقًا.
في الأثناء، يواصل التأخر الحقيقي ارتفاعه. فإذا كانت آخر رسالة أُنتجت قبل ساعة وما زال مستهلكك واقفًا عند تلك الإزاحة، فأنت متأخر ساعة بالزمن الحقيقي – رغم أن تأخر الإزاحة يزعم أن كل شيء على ما يرام.
شاهدت فرقًا تقع في هذا الموقف بالضبط. موضوع قليل الحركة يتولى مهام دفعية تُنفَّذ مرة واحدة في اليوم أبلغ عن “تأخر مستقر” لأسبوع كامل. وتبيّن أن المستهلك كان قد تعطل، لكن لأن المنتِج كان يرسل الرسائل مرة واحدة فقط في اليوم، لم يتغير رقم التأخر إلا قليلًا. ولاحظ المستخدمون المشكلة عندما توقفت تقاريرهم اليومية عن الظهور.
لماذا يصعب الحصول على تأخر الزمن بشكل صحيح
إذا كان تأخر الزمن مهمًا إلى هذا الحد، فلماذا لا تعرضه كل الأدوات؟
لأن حسابه بشكل صحيح مكلف ودقيق.
يُعرَّف تأخر الزمن هكذا:
time_lag = current_time - timestamp_of_message_at_committed_offset
للحصول على ذلك الطابع الزمني، عليك أن تقرأ فعليًا الرسالة الموجودة عند الإزاحة المثبَّتة. أي:
- تهيئة مستهلك
- الانتقال (seek) إلى الإزاحة المثبَّتة
- جلب الرسالة
- تحليل طابعها الزمني
- تكرار ذلك لكل قسم (partition) فيه تأخر
وفي عنقود يضم مئات مجموعات المستهلكين موزعة على آلاف الأقسام، يتحول ذلك سريعًا إلى عمل كثير. ولذلك تتخطاه معظم الأدوات كليًا.
اختصار الاستيفاء (وأين ينكسر)
تسلك بعض الأدوات طريقًا أذكى. فأداة kafka-lag-exporter المستخدمة على نطاق واسع (المكتوبة بـ Scala) تبني تدريجيًا جدول بحث من أزواج (offset, timestamp). ولتقدير الطابع الزمني لإزاحة معينة، تستوفي (interpolate) بين النقاط التي تعرفها بالفعل.
يبدو هذا معقولًا. وإليك لماذا يفشل:
- مشكلة البدء البارد: يبدأ جدول البحث فارغًا. وإلى أن تُجمع نقاط بيانات كافية، لا تكون للمقياس قيمة ذات معنى.
- حالة المنتِج الخامل: بمجرد توقف الإنتاج، يطوي جدول البحث الإزاحات المتكررة في مقطع مسطّح. والاستيفاء داخل مقطع مسطّح يؤدي إلى القسمة على صفر (dy = 0 في معادلة التنبؤ)، فيخرج تأخر الزمن NaN.
- تدفق متغير: يفترض الاستيفاء الخطي أن معدل الرسائل بين نقاط البيانات ثابت. والاندفاعات التي تحدث ضمن فترة استطلاع (poll) واحدة (الافتراضي 30 ثانية) تنتج تقديرات زمنية غير دقيقة، لأن نمط الإنتاج الحقيقي غير الخطي لا يُلتقط.
وكلما فشل الاستيفاء (البدء البارد، بيانات قليلة جدًا)، يبلّغ النظام عن تأخر الزمن بالقيمة NaN. وتعرض لوحات المراقبة ذلك على شكل فجوات في البيانات لا على شكل صفر. أما مقياس تأخر الإزاحة (الذي لا يعتمد على الاستيفاء) فيبقى دقيقًا حتى عندما يتعذر حساب تأخر الزمن.
إنجازه بالشكل الصحيح: أخذ عيّنات من الطوابع الزمنية مباشرة
لا اختصار للدقة. للحصول على تأخر الزمن الحقيقي، عليك قراءة الطوابع الزمنية الفعلية للرسائل.
هكذا تفعل klag-exporter ذلك:
لكل قسم فيه lag > 0:
- تهيئة مستهلك والانتقال إلى الإزاحة المثبَّتة
- جلب رسالة واحدة
- قراءة طابعها الزمني
- الحساب:
time_lag = now - message_timestamp - تخزين النتيجة مؤقتًا حتى لا يُرهَق Kafka
الملاحظة الحاسمة هي أن الطوابع الزمنية مطلوبة فقط للأقسام المتأخرة فعلًا. فالمستهلك الذي لحق بالركب (lag = 0) لا يحتاج إلى طابع زمني – فنحن نعرف أصلًا أنه محدَّث.
وبالنسبة إلى الأقسام المتأخرة، يُخزَّن الطابع الزمني المجلوب مؤقتًا مع مدة صلاحية (TTL). وما دام المستهلك لم يتحرك (الإزاحة المثبَّتة لم تتغير)، يبقى الطابع الزمني المخزَّن صالحًا. ولا يُجلب طابع جديد إلا عندما يثبّت المستهلك إزاحة جديدة.
بهذا النهج تحصل على:
- تأخر زمن دقيق مهما كان تدفق الموضوع
- معالجة صحيحة للمنتِجين الخاملين (يواصل تأخر الزمن الارتفاع، كما ينبغي)
- حمل محدود على Kafka بفضل التخزين المؤقت
وماذا عن الحالات الحدّية؟
هناك حالتان قد تشوّشان دقة الطابع الزمني:
ضغط السجل (Log compaction): عندما يستخدم الموضوع cleanup.policy=compact، قد تكون الرسالة عند إزاحتك المثبَّتة قد أُزيلت بالضغط. فيعيد Kafka عندها الرسالة التالية المتاحة، التي تحمل طابعًا زمنيًا أحدث، فينتهي الأمر بأن يكون التأخر المبلَّغ عنه أقل قليلًا من الحقيقي.
الحذف بسبب الاحتفاظ (Retention deletion): عندما تشير إزاحتك المثبَّتة إلى رسالة حذفتها سياسة الاحتفاظ بالفعل، تواجه المشكلة نفسها – إذ يعيد Kafka رسالة أحدث.
في الحالتين يكون التأخر مقلَّلًا (التأخر المعروض أصغر من الحقيقي). والتنفيذ السليم يتعرف على هذه الحالات ويضع عليها علامة، حتى تعرف أن الرقم قد يكون غير دقيق.
باختصار: لا يمكن الحصول على تأخر الزمن إلا بقراءة رسائل حقيقية. الاستيفاء يبدو مغريًا لكنه ينهار في المواضيع الخاملة أو قليلة التدفق. أما أخذ العيّنات المباشر مع التخزين المؤقت فينتج أرقامًا دقيقة دون إرهاق الوسطاء (brokers) لديك.
المقاييس التي تحتاج إليها فعلًا
هذا ما ينبغي أن تغطيه مراقبة Kafka لديك:
لكل قسم – لتتبع مشكلات محددة
kafka_consumergroup_group_lag{group="orders", topic="orders", partition="0"} 1523
kafka_consumergroup_group_lag_seconds{group="orders", topic="orders", partition="0"} 12.5
لكل مجموعة – للتنبيهات
kafka_consumergroup_group_max_lag{group="orders"} 2847
kafka_consumergroup_group_max_lag_seconds{group="orders"} 45.2
تأخر الإزاحة (group_lag) ما زال يستحق الاحتفاظ به – فهو يبيّن كم رسالة تنتظر المعالجة. لكن عليك أن تجمعه مع تأخر الزمن (group_lag_seconds) لتحكم على مدى خطورة الوضع.
وللتنبيهات، اعتمد على max_lag_seconds عبر جميع الأقسام، الذي يعطيك أسوأ تأخر للمجموعة:
أطلق تنبيهًا عندما يتأخر أي قسم أكثر من 60 ثانية
kafka_consumergroup_group_max_lag_seconds{group="orders-processor"} > 60
يُطلَق هذا التنبيه بسبب تأخر حقيقي لا بسبب عدد رسائل اعتباطي. ويمكن أخيرًا مراقبة اتفاقية مستوى خدمة (SLA) مثل “معالجة الطلبات خلال 30 ثانية” بالطريقة الصحيحة.
تعرّف على klag-exporter
لمعالجة هذه المشكلات، بنينا klag-exporter. وهي مكتوبة بـ Rust من أجل الأداء وتعتمد على أخذ عيّنات مباشر من الطوابع الزمنية بدلًا من الاستيفاء.
كيف تختلف عن الأدوات الموجودة:
كما تتعرف الأداة على حالتي ضغط السجل والاحتفاظ الحدّيتين وتضع علامة على الأقسام المتأثرة، لتعرف متى ينبغي أخذ تأخر الزمن بشيء من الحذر.
بدء سريع باستخدام Docker
سنبدأ بأبسط إعداد ممكن ونوسّعه خطوة بخطوة.
الإعداد الأدنى
-
اكتب إعدادًا أساسيًا
-
شغّل المصدِّر (exporter)
استبدل your-kafka-network بشبكة Docker التي يعمل عليها Kafka لديك، واضبط bootstrap_servers على الوسيط أو الوسطاء لديك.
- تحقق من أنه يعمل
يجب أن تحصل على مقاييس مثل:
kafka_consumergroup_group_lag{cluster_name="my-cluster",group="my-group",topic="my-topic",partition="0"} 1523
kafka_consumergroup_group_lag_seconds{cluster_name="my-cluster",consumer_group="my-group",topic="my-topic",partition="0"} 12.5
حزمة العرض التجريبي الكاملة
هل تود رؤية كل شيء يعمل معًا – Kafka والمنتِجين والمستهلكين وPrometheus وGrafana – مع لوحات مراقبة جاهزة؟ يأتي المستودع مع عرض تجريبي يمكنك تشغيله فورًا:
يأتي العرض التجريبي مع منتِجين ومستهلكين ينشئون أنماط تأخر واقعية، فتستطيع مشاهدة مقياسَي تأخر الزمن وتأخر الإزاحة أثناء عملهما فورًا.
نظرة أقرب على الإعداد
- إعدادات المصدِّر
المفاضلات في مستوى التفصيل:
في معظم الإعدادات، ابدأ بـ partition. وإذا لزم الأمر، يمكنك دائمًا التجميع في Prometheus.
- إعداد العنقود
أنماط القائمة البيضاء/السوداء هي تعبيرات نمطية (regular expressions) وتُطبَّق بالتسلسل: القائمة البيضاء أولًا، ثم تزيل القائمة السوداء ما يطابقها.
طرق المصادقة
عبر consumer_properties، تدعم klag-exporter كل آليات مصادقة Kafka القياسية.
SASL/PLAIN (اسم المستخدم/كلمة المرور):
SASL/SCRAM (مع TLS):
mTLS (TLS المتبادل، بدون اسم مستخدم):
AWS MSK مع IAM:
استبدال متغيرات البيئة
تقبل كل قيمة إعداد الصيغة ${VAR_NAME} – فلا تضطر الأسرار أبدًا إلى أن تُكتب صراحةً في ملف الإعداد:
النشر على Kubernetes
في الإنتاج، ستعمل klag-exporter عادةً في Kubernetes. ويحتوي مستودعنا على GitHub على مخططات helm جاهزة تسهّل نشر klag-exporter على عنقودك.
لوحة Grafana
استيراد اللوحة
الخيار A: انسخ ملف JSON
من المستودع
الخيار B: الاستيراد عبر واجهة Grafana
- افتح Dashboards → Import
- ارفع
kafka-lag.jsonأو الصق محتواه - اختر مصدر بيانات Prometheus
- انقر Import
اللوحات الرئيسية
تنقسم اللوحة المرفقة إلى عدة أقسام:
إحصاءات نظرة عامة:
- Total Consumer Lag (مجموع كل المجموعات)
- Max Time Lag (أسوأ تأخر)
- Exporter Status (UP/DOWN)
- Scrape Duration (سرعة تنفيذ الجمع)
- Consumer Groups (عدد المجموعات المراقَبة)
السلاسل الزمنية:
- Consumer Group Total Lag – كيف يتغير مع الزمن
- Time Lag in Seconds – المقياس الذي يهم
- Per-Partition Lag – لتتبع مشكلات محددة
التدفق والتوزيع:
- Partition Latest Offsets – كيف تتوزع عبر الأقسام
- Topic Message Rate – تدفق الإنتاج مع الزمن
متغيرات اللوحة
تأتي اللوحة مع متغيرات للتصفية:
استخدمها لتضييق النطاق أثناء التحقيق في المشكلات.
مراقبة عدة عناقيد
يمكن لنسخة واحدة من klag-exporter مراقبة عدة عناقيد Kafka. ما عليك سوى إضافة كتل [[clusters]] أخرى:
في المقاييس، يحمل كل عنقود وسم cluster_name الخاص به، مما يتيح لك التصفية حسب العنقود في Grafana وفي التنبيهات.
مصدِّر واحد أم عدة مصدِّرين – متى تختار كلًّا منهما:
التكامل مع OpenTelemetry
إلى جانب نقطة نهاية Prometheus (أو بدلًا منها)، يمكن لـ klag-exporter أيضًا دفع المقاييس عبر OTEL.
يفيد هذا إذا كنت تستخدم Datadog أو New Relic أو Honeycomb أو أي واجهة خلفية أخرى تقبل إدخال OTEL.
تحتوي حزمة الاختبار على OpenTelemetry Collector يستقبل هذه المقاييس ويصدّرها إلى مخرجات التنقيح (السجلات) وإلى نقطة نهاية Prometheus معًا.
استكشاف الأخطاء وإصلاحها
المصدِّر لا يعرض أي مقاييس
-
تحقق من إمكانية الوصول إلى Kafka:
-
اطلع على سجلات المصدِّر:
-
تأكد من المصادقة:
ابحث في السجلات عن أخطاء SASL أو SSL. وأعد التحقق من بيانات اعتمادك وشهاداتك.
المقاييس موجودة، لكن لا توجد مجموعات مستهلكين
- راجع أنماط القائمة البيضاء/السوداء: الأنماط المتشددة جدًا قد تستبعد المجموعات.
- تأكد من وجود مجموعات المستهلكين: kafka-consumer-groups –bootstrap-server kafka:9092 –list
- اكتشف ما إذا كان المستهلكون قد ثبّتوا إزاحات: تسرد klag-exporter فقط المجموعات التي لها إزاحات مثبَّتة.
تأخر الزمن عالق عند 0
-
تأكد من تفعيل أخذ عيّنات الطوابع الزمنية:
-
اكتشف ما إذا كان المستهلكون متأخرين أصلًا: عندما يكون
group_lagيساوي 0، يكونgroup_lag_secondsيساوي 0 أيضًا (لحق بالركب = لا تأخر زمني).
تعرض Grafana “No data”
- اطلع على أهداف Prometheus: http://localhost:9090/targets – هل klag-exporter في حالة UP؟
- اختبر مصدر البيانات: Grafana → Configuration → Data Sources → Test
- تحقق من أسماء المقاييس: تعتمد اللوحة على أسماء مقاييس معينة. وإذا غيّرتها، فعدّل الاستعلامات.
أين ينبغي أن تكون الآن
إذا أنجزت هذا الدليل، فلديك الآن:
- klag-exporter تجمع مقاييس تأخر الإزاحة وتأخر الزمن معًا
- Prometheus يجمع هذه المقاييس ويخزنها
- لوحات Grafana تعرض اتجاهات التأخر وتوزيعاتها
- تنبيهات مضبوطة لاتفاقيات مستوى الخدمة لديك
- معرفة بالحالات الحدّية (كشف الضغط/الاحتفاظ)
وبدلًا من “المستهلك X لديه تأخر 50,000 رسالة”، يستطيع مهندسو المناوبة لديك الآن أن يتفاعلوا مع “المستهلك X متأخر 45 ثانية” – تنبيه يسهل التصرف بناءً عليه أكثر بكثير.
أهم الخلاصات
- يبيّن تأخر الإزاحة كم رسالة أنت متأخر عنها؛ ويبيّن تأخر الزمن إلى أي مدى أنت متأخر بالزمن الحقيقي. كلاهما مهم، لكن اتفاقيات مستوى الخدمة لديك تُعبَّر عنها بتأخر الزمن.
- الأدوات المبنية على الاستيفاء تنهار في المواضيع الخاملة أو قليلة التدفق. فهي تبلّغ عن تأخر صفري بينما قد تكون متأخرًا ساعات.
- أخذ عيّنات الطوابع الزمنية مباشرة أدق لكنه يتطلب تخزينًا مؤقتًا. اجلب فقط للأقسام المتأخرة وخزّن النتائج مؤقتًا مع TTL.
- ابنِ التنبيهات على تأخر الزمن لا على تأخر الإزاحة. سيكون مهندسو المناوبة لديك ممتنين لإدراك الخطورة من النظرة الأولى.
إذا كان تأخر الإزاحة هو كل ما تراقبه اليوم، فأنت تحلّق نصف أعمى. وإدخال تأخر الزمن إلى لوحاتك هو أثمن ترقية يمكنك إجراؤها لمراقبة Kafka لديك.
ستبقى الرسائل حيث هي. أما مستخدموك، فهم في الانتظار – ويشعرون بالتأخير.