Grafana-ի ծանուցումների ճիշտ կարգավորումը. provisioning Kubernetes-ում և ծանուցումներ Slack-ին
Բարելավեք ձեր Grafana Alerting կարգավորումը՝ այն provisioning անելով Kubernetes-ում և ծանուցումներ ուղարկելով Slack-ին
Prometheus-ի և Loki-ի հետ միասին Grafana-ն կազմում է մոնիթորինգի և դիտարկելիության (observability) լիարժեք և լայնորեն օգտագործվող բաց կոդով ստեկ։ Որքան էլ հզոր լինեն այս գործիքները, դրանք կարգավորելը և շահագործելը հմտություն է պահանջում։ Եվ որքան էլ բարդ լինի ձեր մոնիթորինգի և դիտարկելիության համակարգը, դրանից քիչ օգուտ կա առանց ուշադիր կարգավորված ծանուցումների (alerts) և նոտիֆիկացիաների։
Ինչո՞ւ ունենալ մոնիթորինգի համակարգ, եթե չեք կարողանում ժամանակին արձագանքել, երբ ձեր հավելվածը խափանվում է։
Grafana 9.1 թողարկումից սկսած՝ Grafana Alerting-ի ամբողջ ստեկը կարելի է provisioning անել որպես կոդ՝ կամ Kubernetes-ով, կամ Terraform-ով։
Այս ձեռնարկում ես ցույց կտամ, թե ինչպես կարգավորել Grafana ծանուցումներ, որոնք գործարկվում են լոգերում որոշակի բանալի բառերով, և ինչպես ստացված նոտիֆիկացիաները հասցնել Slack ալիք՝ օգտագործելով ֆայլային provisioning-ը Kubernetes-ում։ Սկսենք։
Նախապայմաններ
Տեղադրեք Grafana-ն kube-prometheus-stack Helm Chart-ով։ Տեղակայեք Loki-ն ձեր կլաստերում loki-stack Helm Chart-ով։
Grafana Alerting-ի համար ֆայլային provisioning-ի միացումը
Kubernetes-ում ֆայլային provisioning-ը հիմնված է ConfigMap-երի վրա։ Grafana Alerting sidecar կոնտեյները, որը գտնվում է Grafana կոնտեյների հետ նույն pod-ում, հետևում է ConfigMap-երին։ Երբ գտնում է grafana_alert պիտակով ConfigMap, այն բեռնում է provisioning արված ռեսուրսները Grafana-ի մեջ։
Ստորև երևում է, թե ինչպիսին է նման ConfigMap-ը։ Grafana Alerting ռեսուրսների կաղապարները դրվում են data դաշտի տակ։
apiVersion: v1
kind: ConfigMap
metadata:
name: grafana-alerting
namespace: monitoring
labels:
grafana_alert: "1"
data:
grafana-alert.yaml: |-
Grafana Helm Chart-ը առաքվում է Grafana Alerting sidecar կոնտեյները անջատված վիճակում։ Այն միացնելու համար ձեր kube-prometheus-stack Helm Chart-ի values-ում դրեք հետևյալը՝
grafana:
sidecar:
alerts:
label: grafana_alert
enabled: true
searchNamespace: ALL
labelValue: "1"
Տեղակայեք Helm Chart-ը և ստուգեք, որ alerting sidecar-ը աշխատում է Grafana-ի կողքին։
Grafana Alerting ռեսուրսները
Ահա Grafana Alerting-ի հիմնական կառուցողական բլոկները՝
- alert rules (ծանուցման կանոններ) - Դրանք սահմանում են այն պայմանները, որոնց դեպքում ծանուցումը գործարկվում է։ Այստեղ Loki-ն մեր տվյալների աղբյուրն է, ինչը թույլ է տալիս ծանուցումներ բարձրացնել, երբ լոգերում հայտնվում են որոշակի բանալի բառեր, ինչպես
errorկամexception։ - contact point (կոնտակտային կետ) - Այն պարունակում է նոտիֆիկացիաներ առաքելու համար օգտագործվող կոնֆիգուրացիան։ Մեր կարգավորման մեջ ծանուցման նոտիֆիկացիաները ուղարկվում են Slack, որը հանդես է գալիս որպես կոնտակտային կետ։
- notification policy (նոտիֆիկացիաների քաղաքականություն) - Նոտիֆիկացիաների քաղաքականությամբ կարող եք խմբավորել բազմաթիվ ծանուցումներ և ուղղորդել դրանք տարբեր ստացողների։ Օրինակ՝ պիտակների միջոցով կարող եք մի քանի ծանուցում ուղարկել նույն կոնտակտային կետին։
- notification template (նոտիֆիկացիայի կաղապար) - Նոտիֆիկացիայի կաղապարները թույլ են տալիս ստեղծել հարմարեցված հաղորդագրություններ և կրկին օգտագործել դրանք ծանուցման նոտիֆիկացիաներում։
Alert rules
Grafana ծանուցումը provisioning անելու ամենապարզ եղանակն այն է, որ այն կառուցեք Grafana UI-ում, ապա արտահանեք YAML ֆայլի։
Ծանուցում ստեղծելու համար բացեք Alerting բաժինը և անցեք Alert Rules էջ։ Սեղմեք Create Alert Rule կոճակը։
Քայլ 1-ում մուտքագրեք ձեր ծանուցման անունը։
Քայլ 2-ում որպես Datasource ընտրեք Loki։
Մեր նպատակն է ծանուցում ստանալ ամեն անգամ, երբ հավելվածը բացառություն (exception) է նետում։ Ավելացրեք առաջին արտահայտությունը՝ A, ստորև բերված հարցմամբ, որը լոգերից դուրս է բերում exception հաղորդագրությունը՝
Ստեղծեք հարցում՝
count_over_time({app="demo-app"} | json message="message" |~ `exception` [5m])
count_over_time ֆունկցիան հաշվում է յուրաքանչյուր լոգ հոսքի գրառումները նշված միջակայքում։
Հաջորդը ավելացրեք երկրորդ արտահայտությունը՝ B, Reduce տիպի, և երրորդը՝ C, Threshold տիպի։ B արտահայտությունը դրեք որպես input և 0-ն՝ որպես is above արժեք։ Այս կարգավորմամբ նոտիֆիկացիա է ուղարկվում ամեն անգամ, երբ exception բանալի բառը հայտնվում է լոգերում։ Նշեք այն որպես ծանուցման պայման։
Քայլ 3-ում ընտրեք թղթապանակը, որտեղ ծանուցումը պետք է պահվի, ինչպես նաև գնահատման խումբը։ Գնահատման ժամանակահատվածը դրեք 0 վայրկյան, որպեսզի ծանուցումը գործարկվի անմիջապես։
Քայլ 4-ում լրացրեք ծանուցման ամփոփումը և, եթե ունեք, runbook-ի URL-ը։ Ծանուցման նկարագրության համար օգտագործեք լոգից դուրս բերված message պիտակը։ Կարող եք նաև նշել այս ծանուցման կանոնին կապված dashboard-ը և վահանակը (panel)՝ դա արեք Link the dashboard and panel տեսքում։
Քայլ 5-ում ավելացրեք պիտակներ, ինչպես app=demo-app և environment=production։ Պիտակները հնարավորություն են տալիս ծանուցման նոտիֆիկացիաները ուղարկել տարբեր կոնտակտային կետերի։
Այս պահին կարող եք արտահանել ծանուցման կանոնը և դնել այն ConfigMap-ի ներսում գտնվող կաղապարի մեջ։
Grafana ծանուցման կանոնների արտահանումը՝
Բացեք https://grafana-url/api/v1/provisioning/alert-rules/{alert_rule_ID}/export և պատճենեք կանոնը։
Ծանուցման կանոնի ID-ն կարող եք գտնել ծանուցման կանոնի մանրամասներում՝
Երբ ծանուցման կանոնը արտահանված է, հեռացրեք այն Grafana UI-ից, որպեսզի այն կարողանա provisioning արվել որպես կոդ։ Եթե փորձեք կոդով provisioning անել ծանուցման կաղապար նույն անունով, ինչ Grafana UI-ում ստեղծված և չջնջված ծանուցումն է, սխալ կստանաք։
Slack հաղորդագրության կաղապար
Հաջորդը կառուցենք Slack հաղորդագրությունների կրկին օգտագործելի կաղապարներ։
Ձեզ պետք են երկու կաղապար. մեկը Slack հաղորդագրության մարմնի համար, մյուսը՝ նրա վերնագրի։
Հաղորդագրության կաղապար՝
templates:
- orgID: 1
name: slack.message
template: |-
{{ define "slack.print_alert" -}}
*Alert*: {{ .Labels.alertname }}
{{ if .Annotations -}}
*Summary*: {{ .Annotations.summary}}
*Description*: {{ .Annotations.description }}
{{ end -}}
*Log message*: {{ index .Labels "message" }}
*Explore logs:* https://grafanaURL.com/explore?orgId=1
{{ if .DashboardURL -}}
*Go to dashboard:* {{ .DashboardURL }}
{{- end }}
{{ if .PanelURL -}}
*Go to panel:* {{ .PanelURL }}
{{- end }}
*Details:*
{{ range .Labels.SortedPairs -}}
- *{{ .Name }}:* `{{ .Value }}`
{{ end -}}
{{ if .SilenceURL -}}
*Silence this alert:* {{ .SilenceURL }}
{{- end }}
{{- end }}
{{ define "slack.message" -}}
{{ if .Alerts.Firing -}}
{{ len .Alerts.Firing }} firing alert(s):
{{ range .Alerts.Firing }}
{{ template "slack.print_alert" . }}
{{ end -}}
{{ end }}
{{- end }}
Slack հաղորդագրության կաղապարը ավելի հեշտ հետևելու համար եկեք անցնենք նրա մասերով։ Վերևում են ծանուցման անունը, ամփոփումը և նկարագրությունը։ Դրանց անմիջապես հետո գալիս է լոգերից դուրս բերված լոգ հաղորդագրությունը։
Այնուհետև կտեսնեք հղում դեպի Grafana-ի Explore logs էջը։
Եթե ծանուցման կանոնը դրանք սահմանում է, կարող եք նաև անցնել ծանուցմանը կապված dashboard-ներին և վահանակներին։
Մնացած բոլոր պիտակները թվարկված են հաղորդագրության մեջ՝ ավելի շատ մանրամասներ տալու համար։
Վերջապես, կա հղում, որը թույլ է տալիս ծանուցումը արագ խլացնել, երբ դա պետք լինի։
Վերնագրի կաղապար
templates:
- orgID: 1
name: slack.title
template: |-
{{ define "slack.title" -}}
[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}] Grafana Alerting Notification
{{- end -}}
Contact point
Slack-ի #grafana-alerts ալիքը կծառայի որպես մեր կոնտակտային կետ։ Slack-ը որպես կոնտակտային կետ գրանցելու համար սկսեք՝ ստեղծելով հիմնական Slack հավելված և միացնելով incoming webhooks։ Ապա կարգավորեք Incoming Webhook ձեր Slack ալիքի համար։ Մանրամասները կգտնեք այս ուղեցույցում։ Օրինակելի կոնֆիգուրացիան այսպիսին է՝
contactPoints:
- orgId: 1
name: grafana-alerts
receivers:
- uid: grafana
type: slack
settings:
username: grafana_bot
url: incoming_webhook_url
title: |
{{ template "slack.title" . }}
text: |
{{ template "slack.message" . }}
Notification policy
Արմատային նոտիֆիկացիաների քաղաքականությունը հանդես է գալիս որպես պահուստային ստացող այն ծանուցումների համար, որոնց պիտակները ոչ մի այլ բանի չեն համընկնում։ Ուղղեք այն ձեր լռելյայն ալիքին կամ կարգավորեք Grafana email նոտիֆիկացիաներ։
Ապա ավելացրեք ժառանգ նոտիֆիկացիաների քաղաքականություն, որը app=demo-app պիտակով յուրաքանչյուր ծանուցում ուղարկում է #grafana-alerts Slack ալիք։
policies:
- orgId: 1
receiver: default-channel-name
group_by: ['...']
routes:
- receiver: grafana-alerts
object_matchers:
- ['app', '=', 'demo-app']
Կարող եք բոլոր ռեսուրսները պահել մեկ ConfigMap-ում կամ յուրաքանչյուր alerting ռեսուրսին տալ իր սեփականը։
Բոլոր սահմանված ռեսուրսները պարունակող ConfigMap-ը պետք է ունենա հետևյալ տեսքը՝
kind: ConfigMap
metadata:
name: grafana-alerting
namespace: monitoring
labels:
grafana_alert: "1"
data:
grafana-alerting.yaml: |-
apiVersion: 1
templates:
- orgID: 1
name: slack.message
template: |-
# add here your notification template
policies:
- orgId: 1
receiver: default-channel-name
group_by: ['...']
routes:
- receiver: grafana-alerts
object_matchers:
- ['app', '=', 'demo-app]
contactPoints:
- orgId: 1
name: grafana-alerts
receivers:
- uid: grafana
type: slack
settings:
username: grafana_bot
url: incoming_webhook_url
title: |
{{ template "slack.title" . }}
text: |
{{ template "slack.message" . }}
groups:
- orgId: 1
name: demo-app
folder: Log filtering
interval: 5m
rules:
- title: Exception in demo-app
# add here exported alert rules
Կիրառեք այս մանիֆեստները, ապա բացեք Grafana Alerting էջը՝ ստուգելու համար, որ յուրաքանչյուր ռեսուրս ճիշտ է provisioning արվել։ Դրանցից յուրաքանչյուրը պետք է կրի Provisioned պիտակը։
Ծանոթություն. Դուք չեք կարող provisioning արված ռեսուրսները խմբագրել UI-ից – դրանք անփոփոխելի են։
Դրանից հետո անցեք կոնտակտային կետերի էջ և աշխատեցրեք կոնտակտային կետի թեստ՝
Եթե թեստային նոտիֆիկացիան հայտնվի ձեր Slack ալիքում, ապա կեցցե՛ք. ամեն ինչ ճիշտ է կարգավորված, և այժմ կարող եք սկսել ծանուցումներ ստանալ։
Ստորև բերված է Slack ալիք առաքված հաղորդագրության նախադիտում։ Քանի որ սա թեստային նոտիֆիկացիա է, դա կրճատված տարբերակ է, որում բացակայում են լոգ հաղորդագրությունը և հղումները դեպի dashboard-ը կամ վահանակը։
Ամփոփում
Ճանապարհին սովորած մի օգտակար դաս. երբ սկսում եք կարգավորել Grafana Alerting-ը, նախ բոլոր հիմնական ռեսուրսները կառուցեք Grafana UI-ում, ապա պահպանեք դրանք Export կոճակով։ 10.1 թողարկումից սկսած՝ UI-ը թույլ է տալիս արտահանել ոչ միայն ծանուցման կանոնները, այլև կոնտակտային կետերը և նոտիֆիկացիաների քաղաքականությունները։ Երբ ես նոր էի սկսում աշխատել Grafana Alerting-ի հետ, այս արտահանման տարբերակները չկային, և ես շատ լրացուցիչ ժամանակ ծախսեցի YAML ֆայլերը դեբագ անելով՝ սխալները գտնելու համար։ Այս խորհրդին հետևելը կարող է ձեզ խնայել ժամանակ և հիասթափություն կարգավորման ընթացքում։
Այդուհանդերձ, Kubernetes-ով provisioning-ը գերազանց ընտրություն է, քանի որ թույլ է տալիս ձեր մոնիթորինգի և դիտարկելիության կարգավորումը նկարագրել ուղղակիորեն ձեր GitOps ռեպոզիտորիայում։ Grafana Alerting-ը ձեզ տալիս է ծանուցումները կարգավորելու ճկուն, բարձր հարմարեցվող եղանակ, ինչը կարևոր է դրանք գործարկվելիս արագ արձագանքելու համար։ Այս ուղեցույցը պետք է օգնի ձեզ ավելի լավ ըմբռնել Grafana Alerting-ի հասկացությունները և կարգավորել հիմնական ծանուցումներ Slack ալիքի համար։