إتقان تنبيهات Grafana: الإعداد عبر Kubernetes وإرسال الإشعارات إلى Slack
ارتقِ بإعداد Grafana Alerting لديك عبر تهيئته (provisioning) على Kubernetes وإرسال الإشعارات إلى Slack
تشكل Grafana مع Prometheus و Loki حزمة مفتوحة المصدر كاملة وواسعة الاستخدام للمراقبة وقابلية الملاحظة (observability). ومهما كانت هذه الأدوات قوية، فإن إعدادها وتشغيلها يتطلبان مهارة. ومهما بلغ تطور إعداد المراقبة وقابلية الملاحظة لديك، فإن فائدته قليلة من دون تنبيهات وإشعارات مضبوطة بعناية.
ما فائدة وجود نظام مراقبة أصلًا إذا لم تستطع الاستجابة في الوقت المناسب عندما يتعطل تطبيقك؟
بدءًا من الإصدار Grafana 9.1، يمكن تهيئة حزمة Grafana Alerting بأكملها كشيفرة، سواء باستخدام Kubernetes أو Terraform.
في هذا الدليل سأريك كيف تعدّ تنبيهات Grafana تُطلَق عند ظهور كلمات مفتاحية معينة في السجلات، وكيف تُسلَّم الإشعارات الناتجة إلى قناة Slack باستخدام التهيئة عبر الملفات في Kubernetes. لنبدأ.
المتطلبات المسبقة
ثبّت Grafana باستخدام Helm Chart الخاص بـ kube-prometheus-stack. وانشر Loki في عنقودك باستخدام Helm Chart الخاص بـ loki-stack.
تفعيل التهيئة عبر الملفات لـ Grafana Alerting
في Kubernetes تعتمد التهيئة عبر الملفات على ConfigMaps. وتراقب حاوية Grafana Alerting الجانبية (sidecar)، الموجودة في الـ pod نفسه مع حاوية Grafana، هذه الـ ConfigMaps. وكلما وجدت ConfigMap تحمل الوسم grafana_alert، حمّلت الموارد المهيأة إلى Grafana.
فيما يلي شكل ConfigMap كهذه. وتوضع قوالب موارد Grafana Alerting تحت الحقل data.
apiVersion: v1
kind: ConfigMap
metadata:
name: grafana-alerting
namespace: monitoring
labels:
grafana_alert: "1"
data:
grafana-alert.yaml: |-
يأتي Grafana Helm Chart مع حاوية Grafana Alerting الجانبية معطّلة. ولتفعيلها، ضع ما يلي في قيم Helm Chart الخاص بـ kube-prometheus-stack:
grafana:
sidecar:
alerts:
label: grafana_alert
enabled: true
searchNamespace: ALL
labelValue: "1"
انشر الـ Helm Chart وتحقق من أن الحاوية الجانبية للتنبيهات تعمل بجانب Grafana.
موارد Grafana Alerting
فيما يلي اللبنات الرئيسية لـ Grafana Alerting:
- قواعد التنبيه (alert rules) - تحدد الشروط التي يُطلَق عندها التنبيه. هنا يكون Loki مصدر البيانات لدينا، مما يتيح لنا إطلاق التنبيهات عند ظهور كلمات مفتاحية معينة مثل
errorأوexceptionفي السجلات. - نقطة الاتصال (contact point) - تحتفظ بالإعدادات المستخدمة لتسليم الإشعارات. في إعدادنا تُرسل إشعارات التنبيه إلى Slack، الذي يعمل كنقطة اتصال.
- سياسة الإشعارات (notification policy) - تتيح لك سياسات الإشعارات تجميع تنبيهات كثيرة وتوجيهها إلى مستلمين مختلفين. فمثلًا، تتيح لك الوسوم (labels) إرسال عدة تنبيهات إلى نقطة الاتصال نفسها.
- قالب الإشعارات (notification template) - تتيح لك قوالب الإشعارات بناء رسائل مخصصة وإعادة استخدامها في إشعارات التنبيه.
قواعد التنبيه
أبسط طريقة لتهيئة تنبيه Grafana هي بناؤه في واجهة Grafana ثم تصديره إلى ملف YAML.
لإنشاء تنبيه، افتح عرض Alerting وانتقل إلى صفحة Alert Rules. اضغط الزر Create Alert Rule.
في الخطوة 1، أدخل اسمًا للتنبيه.
في الخطوة 2، اختر Loki كمصدر بيانات (Datasource).
هدفنا الحصول على تنبيه كلما أطلق التطبيق استثناءً. أضف التعبير الأول، A، بالاستعلام أدناه، الذي يستخرج رسالة exception من السجلات:
أنشئ استعلامًا:
count_over_time({app="demo-app"} | json message="message" |~ `exception` [5m])
تحسب الدالة count_over_time مدخلات كل تدفق سجلات ضمن المدى المحدد.
بعد ذلك أضف تعبيرًا ثانيًا، B، من النوع Reduce، وتعبيرًا ثالثًا، C، من النوع Threshold. اضبط التعبير B على أنه input و 0 كقيمة is above. بهذا الإعداد يُرسل إشعار في كل مرة تظهر فيها الكلمة المفتاحية exception في السجلات. وسمّه كشرط للتنبيه.
في الخطوة 3، اختر المجلد الذي ينبغي تخزين التنبيه فيه، إضافة إلى مجموعة التقييم. اضبط فترة التقييم على 0 ثانية ليُطلَق التنبيه فورًا.
في الخطوة 4، املأ ملخص التنبيه، ورابط runbook إن كان لديك. ولوصف التنبيه استخدم الوسم message المستخرج من السجل. ويمكنك أيضًا الإشارة إلى لوحة المعلومات والـ panel المرتبطين بقاعدة التنبيه هذه – افعل ذلك في العرض Link the dashboard and panel.
في الخطوة 5، أضف وسومًا مثل app=demo-app و environment=production. تتيح الوسوم إرسال إشعارات التنبيه إلى نقاط اتصال مختلفة.
عند هذه النقطة يمكنك تصدير قاعدة التنبيه ووضعها في القالب داخل ConfigMap.
تصدير قواعد تنبيه Grafana:
افتح https://grafana-url/api/v1/provisioning/alert-rules/{alert_rule_ID}/export وانسخ القاعدة.
يمكنك العثور على معرّف قاعدة التنبيه في تفاصيلها:
بعد تصدير قاعدة التنبيه، احذفها من واجهة Grafana ليتسنى تهيئتها كشيفرة. فإذا حاولت تهيئة قالب تنبيه عبر الشيفرة بالاسم نفسه لتنبيه أنشأته في واجهة Grafana ولم تحذفه، فستحصل على خطأ.
قالب رسالة Slack
بعد ذلك لنبنِ قوالب قابلة لإعادة الاستخدام لرسائل Slack.
تحتاج إلى قالبين: أحدهما لجسم رسالة Slack والآخر لعنوانها.
قالب الرسالة:
templates:
- orgID: 1
name: slack.message
template: |-
{{ define "slack.print_alert" -}}
*Alert*: {{ .Labels.alertname }}
{{ if .Annotations -}}
*Summary*: {{ .Annotations.summary}}
*Description*: {{ .Annotations.description }}
{{ end -}}
*Log message*: {{ index .Labels "message" }}
*Explore logs:* https://grafanaURL.com/explore?orgId=1
{{ if .DashboardURL -}}
*Go to dashboard:* {{ .DashboardURL }}
{{- end }}
{{ if .PanelURL -}}
*Go to panel:* {{ .PanelURL }}
{{- end }}
*Details:*
{{ range .Labels.SortedPairs -}}
- *{{ .Name }}:* `{{ .Value }}`
{{ end -}}
{{ if .SilenceURL -}}
*Silence this alert:* {{ .SilenceURL }}
{{- end }}
{{- end }}
{{ define "slack.message" -}}
{{ if .Alerts.Firing -}}
{{ len .Alerts.Firing }} firing alert(s):
{{ range .Alerts.Firing }}
{{ template "slack.print_alert" . }}
{{ end -}}
{{ end }}
{{- end }}
لتسهيل متابعة قالب رسالة Slack، لنستعرض أجزاءه. في الأعلى يوجد اسم التنبيه والملخص والوصف. وبعدها مباشرة تأتي رسالة السجل المستخرجة من السجلات.
ثم سترى رابطًا إلى صفحة Explore logs في Grafana.
وإذا كانت قاعدة التنبيه تعرّفها، فستتمكن أيضًا من الانتقال إلى لوحات المعلومات والـ panels المرتبطة بالتنبيه.
وتُدرج جميع الوسوم الأخرى في الرسالة لتوفير مزيد من التفاصيل.
وأخيرًا، يوجد رابط يتيح لك كتم التنبيه بسرعة كلما احتجت.
قالب العنوان
templates:
- orgID: 1
name: slack.title
template: |-
{{ define "slack.title" -}}
[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}] Grafana Alerting Notification
{{- end -}}
نقطة الاتصال
ستكون قناة Slack باسم #grafana-alerts نقطة الاتصال لدينا. ولتسجيل Slack كنقطة اتصال، ابدأ بإنشاء تطبيق Slack أساسي وتفعيل incoming webhooks. ثم أعدّ Incoming Webhook لقناة Slack الخاصة بك. ستجد التفاصيل في هذا الدليل. وفيما يلي مثال على إعداد:
contactPoints:
- orgId: 1
name: grafana-alerts
receivers:
- uid: grafana
type: slack
settings:
username: grafana_bot
url: incoming_webhook_url
title: |
{{ template "slack.title" . }}
text: |
{{ template "slack.message" . }}
سياسة الإشعارات
تعمل سياسة الإشعارات الجذرية كمستلم احتياطي للتنبيهات التي لا تطابق وسومها أي شيء آخر. وجّهها إلى قناتك الافتراضية أو اضبط إشعارات Grafana عبر البريد الإلكتروني.
ثم أضف سياسة إشعارات فرعية ترسل كل تنبيه يحمل الوسم app=demo-app إلى قناة Slack باسم #grafana-alerts.
policies:
- orgId: 1
receiver: default-channel-name
group_by: ['...']
routes:
- receiver: grafana-alerts
object_matchers:
- ['app', '=', 'demo-app']
يمكنك الاحتفاظ بجميع الموارد في ConfigMap واحدة أو منح كل مورد تنبيه ConfigMap خاصة به.
ينبغي أن تبدو ConfigMap التي تحتوي على جميع الموارد المعرَّفة هكذا:
kind: ConfigMap
metadata:
name: grafana-alerting
namespace: monitoring
labels:
grafana_alert: "1"
data:
grafana-alerting.yaml: |-
apiVersion: 1
templates:
- orgID: 1
name: slack.message
template: |-
# add here your notification template
policies:
- orgId: 1
receiver: default-channel-name
group_by: ['...']
routes:
- receiver: grafana-alerts
object_matchers:
- ['app', '=', 'demo-app]
contactPoints:
- orgId: 1
name: grafana-alerts
receivers:
- uid: grafana
type: slack
settings:
username: grafana_bot
url: incoming_webhook_url
title: |
{{ template "slack.title" . }}
text: |
{{ template "slack.message" . }}
groups:
- orgId: 1
name: demo-app
folder: Log filtering
interval: 5m
rules:
- title: Exception in demo-app
# add here exported alert rules
طبّق هذه الـ manifests، ثم افتح صفحة Grafana Alerting للتحقق من أن كل مورد قد هُيّئ بشكل صحيح. وينبغي أن يحمل كل منها الوسم Provisioned.
ملاحظة: لا يمكنك تعديل الموارد المهيأة من الواجهة – فهي غير قابلة للتغيير.
بعد ذلك، انتقل إلى صفحة نقاط الاتصال وشغّل اختبارًا لنقطة الاتصال:
إذا وصل إشعار اختباري إلى قناة Slack الخاصة بك، فأحسنت – كل شيء مضبوط بشكل صحيح، ويمكنك الآن البدء في تلقي التنبيهات.
فيما يلي معاينة للرسالة المسلَّمة إلى قناة Slack. ولأنه إشعار اختباري، فهي نسخة مختصرة تفتقر إلى رسالة سجل وروابط إلى لوحة المعلومات أو الـ panel.
الخلاصة
من الدروس المفيدة التي تعلمتها في الطريق: عندما تبدأ بإعداد Grafana Alerting، ابنِ جميع الموارد الأساسية في واجهة Grafana أولًا، ثم احفظها بزر Export. ومنذ الإصدار 10.1، تتيح لك الواجهة تصدير ليس قواعد التنبيه فحسب، بل نقاط الاتصال وسياسات الإشعارات أيضًا. وعندما بدأت العمل مع Grafana Alerting لم تكن خيارات التصدير هذه موجودة، وأمضيت وقتًا إضافيًا طويلًا في تصحيح ملفات YAML لتعقب الأخطاء. واتباع هذه النصيحة قد يوفر عليك الوقت والإحباط أثناء الإعداد.
ومع ذلك، فإن التهيئة عبر Kubernetes خيار ممتاز، إذ تتيح لك وصف إعداد المراقبة وقابلية الملاحظة مباشرة في مستودع GitOps الخاص بك. ويمنحك Grafana Alerting طريقة مرنة وقابلة للتخصيص بدرجة عالية لإعداد التنبيهات، وهذا ضروري للاستجابة بسرعة عند إطلاقها. ينبغي أن يساعدك هذا الدليل على فهم أفضل لمفاهيم Grafana Alerting وإعداد تنبيهات أساسية لقناة Slack.