إرسال مقاييس JVM الداخلية إلى GCP Monitoring عبر OpenTelemetry (دون كتابة أي شيفرة)
دليل خطوة بخطوة لإرسال المقاييس الداخلية لتطبيق Java إلى خدمة GCP Monitoring باستخدام OpenTelemetry (يعمل كمشغّل OpenTelemetry على GKE).
في هذا الدرس سأوضح كيفية إرسال المقاييس الداخلية لتطبيق Java إلى خدمة GCP Monitoring.
سأستخدم OpenTelemetry (يعمل كمشغّل OpenTelemetry على GKE)، وأعدك ألا أكتب سطرًا واحدًا من شيفرة Java ;).
ما هو OpenTelemetry؟
دعني أقلب السؤال – ما الذي ليس OpenTelemetry؟
إنه ليس أداة أو مكتبة مراقبة أخرى. بل هو طريقة موحّدة لجمع بيانات القياس عن بُعد (telemetry) مثل السجلات والمقاييس والتتبعات ومعالجتها وتصديرها.
تخيّل أن تطبيقنا مزوّد بالأدوات القياسية (instrumented) بأداة معينة، لنقل Kamon. ماذا يحدث إذا قررنا لاحقًا أننا نفضّل Prometheus؟ سيكون علينا إعادة كتابة جزء كبير من شيفرة التطبيق.
يغيّر OpenTelemetry قواعد اللعبة: فحزمة SDK وواجهة API المشتركتان فيه تتيحان للمطورين إرسال الإشارات إلى أي وجهة تقريبًا. والشرط الوحيد أن يتحدث النظام الخلفي بروتوكول otlp، أو أن يوجد مُصدِّر OpenTelemetry متوافق.
بدائل OpenTelemetry
عندما تكون التطبيقات القائمة مزوّدة بالأدوات أصلًا وتعرض مقاييس متوافقة مع Prometheus، يمكنك استخدامها في GCP Monitoring عبر Managed Service for Prometheus. وهو نظام خلفي متوافق مع Prometheus يمكن إضافته إلى عنقود GKE تلقائيًا بتفعيله في إعدادات GKE. وبعد تفعيله ينشئ جامعات المقاييس ووحدة التحكم Google Managed Prometheus (gmp-controller) وبعض CRDs (مثل PodMonitorig) لاختيار الـ pods أو الخدمات التي ستُراقَب.
لماذا نستخدم OpenTelemetry؟ ألا يكفي GCP monitoring؟
يتعامل GCP Monitoring جيدًا جدًا مع المقاييس التي يصدرها نظام GKE نفسه، إضافة إلى بعض مقاييس الحاويات. بعضها، لا كلها. ولا يمكنك استخدامه للحصول على مقاييس من داخل التطبيق، مثل بواطن JVM والمقاييس الخاصة بالمكتبات وما إلى ذلك.
والحصول على تلك المقاييس يتطلب شيئًا يعمل داخل JVM وينشرها إلى جامع (collector).
الإعداد القائم
لنفترض أن لدينا عنقود GKE يعمل عليه عدد من الخدمات المصغّرة المبنية على JVM. تمتلك عقد GKE صلاحية الكتابة إلى المراقبة أصلًا، لذلك تجاوزنا workload identity federation، وهي الطريقة الموصى بها لمنح أحمال GKE الوصول إلى GCP (اخترت هذا لإبقاء الأمور بسيطة).
تثبيت OpenTelemetry
بما أننا نعمل مع عنقود Kubernetes، سنثبّت OpenTelemetry كمشغّل Kubernetes. يتكون مشغّل OpenTelemetry من:
- وحدة تحكم OpenTelemetry
- CRD لجامع OpenTelemetry
- CRD لأدوات OpenTelemetry (instrumentation).
يمكنك تثبيت المشغّل بعدة طرق: بواسطة ملف manifest الخاص بالمشغّل، أو مخطط Helm، أو Operator Hub. سأختار مخطط Helm. ويتطلب تثبيته إضافة مستودع Helm أولًا:
$ helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
$ helm repo update
ثم تثبيت المخطط:
$ helm install --namespace otel-system --create-namespace \
opentelemetry-operator open-telemetry/opentelemetry-operator
استخدمت هنا فضاء الأسماء otel-system، لكن يمكنك اختيار أي اسم تريده.
مهم: يعتمد مشغّل OpenTelemetry على admission webhook، يستخدم TLS افتراضيًا. وبالإعدادات الافتراضية يفترض Helm أن cert-manager مثبّت أصلًا في العنقود. ويصف ملف readme عدة طرق بديلة لتثبيت مخطط مشغّل OpenTelemetry دون cert-manager.
لنتأكد من أن المخطط ثُبّت بشكل صحيح:
$ kubectl -n otel-system get deployments
NAME READY UP-TO-DATE AVAILABLE AGE
opentelemetry-operator 1/1 1 1 4min
$ kubectl get opentelemetrycollectors
No resources found in default namespace.
إنشاء الجامع
قبل أن نتمكن من جمع المقاييس من التطبيقات، نحتاج إلى جامع OpenTelemetry. وهو المسؤول عن استقبال المقاييس ومعالجتها، وتصديرها اختياريًا إلى نظام خارجي – هنا GCP Monitoring.
يمكن تشغيل الجامع بعدة طرق:
Deployment
هنا يعمل الجامع كتطبيق عادي. وتوسيعه وتقليصه والرجوع إلى إصدار سابق وكل ما تفعله عادةً مع التطبيق أمور سهلة. وهذه على الأرجح أبسط طريقة لنشر الجامع.
Daemonset
عندما تحتاج إلى أن يعمل الجامع كوكيل على عقد Kubernetes، يمكنك تشغيله كـ daemonset. ويفيد هذا في جمع مقاييس المضيف من العقد بواسطة Host Metrics Receiver – وفي هذه الحالة يجب أن يملك الجامع وصولًا مباشرًا إلى العقد. وعيبه أنه لا يمكن توسيعه بمفرده.
Statefulset
يفيد هذا عندما تحتاج الـ pods إلى أسماء مضيف ثابتة.
Sidecar
هنا يُحقن الجامع في pod كحاوية إضافية. والغاية تسليم بيانات القياس عن بُعد إلى الجامع بأسرع ما يمكن. ويحصل كل pod على جامعه الخاص.
اخترنا Deployment لأنه أبسط خيار.
وهذا هو manifest الجامع لدينا:
apiVersion: opentelemetry.io/v1alpha1
kind: OpenTelemetryCollector
metadata:
name: gcp
namespace: otel-system
spec:
mode: "deployment"
config: |
receivers:
otlp:
protocols:
grpc:
http:
exporters:
googlecloud:
processors:
batch:
# batch metrics before sending to reduce API usage
send_batch_max_size: 200
send_batch_size: 200
timeout: 5s
memory_limiter:
# drop metrics if memory usage gets too high
check_interval: 1s
limit_percentage: 65
spike_limit_percentage: 20
resourcedetection:
# detect cluster name and location
detectors: [gcp]
timeout: 10s
service:
pipelines:
metrics:
receivers: [otlp]
processors: [batch, memory_limiter, resourcedetection]
exporters: [googlecloud]
لنفككه قطعة قطعة.
نحن ننشئ جامعًا باسم gcp في فضاء الأسماء otel-system.
يحتوي spec الخاص به على حقلين: الوضع (mode)، المضبوط على deployment كما وُصف أعلاه، والإعداد (config)، وهو ملف إعدادات OpenTelemetry عادي.
يحدد الإعداد المستقبِلات والمعالجات والمُصدِّرات. وأخيرًا تُجمع هذه الأجزاء الثلاثة في خط معالجة (pipeline).
نقبل فقط البيانات المرسلة عبر بروتوكول otlp، سواء عبر grpc أو http. ولكل منهما نقطة نهاية ومنفذ خاصان.
بعد وصول البيانات نعالجها. أولًا، يجمّع معالج batch الإشارات المفردة في دفعات. ضبطنا حجم الدفعة وحدها الأقصى على 200 (عدد المقاييس) والمهلة على 5s – وبعد انقضاء هذه المدة تنتقل الدفعة إلى المكوّن التالي في خط المعالجة مهما كان حجمها الحالي.
التالي في خط المعالجة هو memory_limiter. وهو موجود لتجنب نفاد الذاكرة عندما يجب معالجة كمية كبيرة من البيانات. نستخدم قيمًا نسبية، فتُعدَّل الحدود ديناميكيًا بحسب الذاكرة المتاحة.
والمعالج الأخير هو resourcedetection – يكتشف معلومات الموارد من النظام المضيف ويضيفها إلى الإشارات بصيغة OpenTelemetry. وبهذا نعرف اسم الـ pod المصدر وفضاء أسمائه وغير ذلك. نستخدم الكاشف gcp لجلب المعلومات من خادم البيانات الوصفية لـ google ومتغيرات البيئة الخاصة بـ GCP.
بعد المعالجة تُصدَّر البيانات إلى googlecloud، وهذا يعني ببساطة أنها تُكتب كمقياس في نظام GCP Monitoring.
لنطبّق الـ manifest:
kubectl apply -f collector.yaml
بعد تطبيق الـ manifest، ينبغي أن يعيد سرد الجامعات بعض المخرجات:
kubectl -n otel-system get opentelemetrycollectors
NAME MODE VERSION READY AGE IMAGE MANAGEMENT
gcp deployment 0.85.0 1/1 3d23h otel/opentelemetry-collector-contrib:0.85.0 managed
إذن ماذا يحدث عند إنشاء جامع؟
تنشئ وحدة تحكم OpenTelemetry حِملًا (workload) (هنا الـ deployment) مع بعض الخدمات لجمع البيانات ومراقبة الجامع.
kubectl -n otel-system get services
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
gcp-collector ClusterIP 10.200.179.87 <none> 4317/TCP,4318/TCP 3d23h
gcp-collector-headless ClusterIP None <none> 4317/TCP,4318/TCP 3d23h
gcp-collector-monitoring ClusterIP 10.200.47.54 <none> 8888/TCP 3d23h
رائع، الجامع يعمل – حان وقت إرسال بعض البيانات إليه.
إنشاء الأدوات القياسية (instrumentation)
بعد ذلك ننشئ كائن OpenTelemetry باسم instrumentation. وهو يصف كيفية تفعيل القياس التلقائي في التطبيق.
بالنسبة لتطبيقات JVM، نعتمد على Java Autoinstrumentation، الذي يعمل كوكيل Java.
وهذه هي الـ instrumentation لدينا:
apiVersion: opentelemetry.io/v1alpha1
kind: Instrumentation
metadata:
name: java-instrumentation
namespace: default
spec:
exporter:
endpoint: http://gcp-collector.otel-system:4317
java:
env:
- name: OTEL_METRICS_EXPORTER
value: otlp
- name: OTEL_TRACES_EXPORTER
value: none
- name: OTEL_LOGS_EXPORTER
value: none
بما أننا نجمع المقاييس فقط، ضبطنا بعض متغيرات البيئة التي تعطّل التتبعات والسجلات.
كما وجّهناه إلى عنوان الجامع الذي أنشأناه في الخطوة السابقة.
عند هذه النقطة لدينا الجامع وإعدادات القياس التلقائي، لكن لا توجد بيانات بعد. لنفعّل القياس لبعض الخدمات.
تفعيل القياس التلقائي
لا يتطلب تفعيل القياس التلقائي سوى إضافة تعليق توضيحي (annotation) إلى الـ pod.
احذر: من السهل الوقوع في الخطأ هنا ووضع التعليق على الـ deployment بدلًا من ذلك. نحتاج إلى وضع التعليق على الـ pod، لذا نعدّل قالب الـ pod:
spec:
replicas: 2
template:
metadata:
annotations:
instrumentation.opentelemetry.io/inject-java: “true”
يقبل التعليق instrumentation.opentelemetry.io/inject-java القيم التالية:
- “true” – يحقن الـ instrumentation ذات الاسم الافتراضي من فضاء الأسماء الحالي (مثلًا عند وجود instrumentation واحدة فقط)
- “instrumentation-name” – اسم الـ instrumentation، عندما يحتوي فضاء الأسماء على عدة instrumentations
- “namespace-name/instrumentation-name” – اسم instrumentation موجودة في فضاء أسماء مختلف
- “false” – يستثني هذا الحمل من القياس.
ويمكنك أيضًا وضع التعليق على فضاء الأسماء، وفي هذه الحالة تُحقن الـ instrumentation في كل pod فيه.
كيف تُحقن الـ instrumentation؟ تُنشأ حاوية init تنزّل وكيل java، وتُحقن بعض متغيرات البيئة، ويُركَّب volume يحتوي على الوكيل. كما يُحقن متغير البيئة JAVA_TOOL_OPTIONS أو يُعدَّل ليتضمن -javaagent:/otel-auto-instrumentation/javaagent.jar، وهو ما يربط وكيل Java بـ JVM فعليًا.
مهم – هذا ينطبق فقط على الـ pods المنشأة حديثًا. فإذا عدّلنا الـ deployment أولًا ثم أنشأنا الـ instrumentation بعد ذلك، فلن يعمل، وسيكون علينا إعادة تشغيل الـ pods يدويًا.
التحقق من المقاييس في GCP
لنبحث الآن عن مقاييسنا في GCP.
بفضل gcp resourcedetector، “يعلم” نظام المراقبة أن مقاييس JVM لدينا تأتي من Kubernetes pods، لذا سنجدها في Metrics explorer تحت Kubernetes container.
تحمل المقاييس تسميات مفيدة مثل اسم الخدمة واسم الـ pod وفضاء الأسماء، إضافة إلى كل تسمية Kubernetes من الـ pod، مما يجعل تصفية البيانات في metric explorer بسيطة جدًا.
استكشاف الأخطاء وإصلاحها
إذا لم يعمل شيء كما هو متوقع، فابدأ بالنظر إلى Metric management في خدمة GCP Monitoring. هناك يمكنك رؤية معدل الأخطاء وتصفح السجلات (يجب تفعيل سجلات التدقيق).
وقد يفيد أيضًا تصفح سجلات الجامع ووحدة تحكم المشغّل.
الخلاصة
يتيح القياس التلقائي في OpenTelemetry جمع كثير من المقاييس المفيدة دون إضافة سطر واحد من الشيفرة إلى التطبيق.
القياس التلقائي ليس سوى نقطة بداية؛ وربما يستحق أيضًا تزويد التطبيق بمقاييس مخصصة و/أو مقاييس أعمال.
هذه المقالة مجرد درس يركّز على GCP؛ وأقترح التعرف على وثائق OpenTelemetry.