نقل Mastodon Helm Chart إلى Bitnami
يرشدك هذا المقال خطوة بخطوة إلى التحويل من نشر Mastodon Helm Chart إلى الحزمة التي تقدمها Bitnami.
قبل بضعة أشهر شغّلنا Mastodon على Kubernetes باستخدام Mastodon Helm Chart الرسمي. ومنذ ذلك الحين نقل مجتمع Mastodon حزمة Helm Chart الخاصة به إلى مستودع آخر. للأسف، هذه الحزمة ضعيفة الصيانة، وواجهتنا عدة عوائق عند محاولة استخدامها. ونتيجة لذلك قررنا اعتماد Mastodon Helm Chart من Bitnami، وهو خيار أكثر موثوقية وأفضل صيانة.
تقدّم Bitnami مجموعة كبيرة من حزم Helm Chart للتطبيقات المعروفة. ويُحدَّث كثير منها بانتظام، ومع ذلك فقد طرح العمل مع Mastodon Helm Chart بعض التحديات علينا. وأثناء الترحيل واجهنا عدداً من المشكلات، بعضها ناتج عن قوالب عُرّفت بشكل غير صحيح.
قد تسأل هل نقل Helm Chart إلى مستودع آخر أفضل صيانة ضروري فعلاً. نعم، هو كذلك. فقد كشف Mastodon مؤخراً عن عدة ثغرات أمنية تؤثر في الإصدارات الأقدم. وللأسف، لا تتضمن حزمة Helm Chart الرسمية لـ Mastodon هذه التصحيحات الأمنية الحرجة. لحسن الحظ، يقوم فريق Bitnami بما يلزم لإبقاء حزمته محدّثة.
فيما يلي إذن درس تعليمي حول الانتقال من Mastodon Helm Chart إلى الحزمة التي تقدمها Bitnami. لنبدأ!
تجهيز نسخة Mastodon للترحيل
إذا قرأت مقالي السابق عن نشر Mastodon على Kubernetes، فقد تذكر أنني أنشر Helm Chart باستخدام Flux CD، متبعاً نهج GitOps. في هذا الترحيل نريد تغيير إعدادنا الحالي بأقل قدر ممكن. هذه هي الخطوات التي نحتاجها:
- تحديث HelmRelease وتعديل قيم Helm Chart.
- تحديث HelmRepository.
- إنشاء سرّ (secret) جديد لـ Redis.
انتبه إلى أن الترحيل سيسبب توقفاً مؤقتاً عن العمل. جهّز ملف values.yaml مع أخذ ذلك في الحسبان. سأستعرض أدناه بعض الأقسام التي قد تسبب مشكلات. يمكنك إيجاد Mastodon Helm Chart في مستودع Bitnami عبر هذا الرابط.
Apache Helm Chart وIngress
يتطلب Ingress تفعيل Apache Helm Chart، وهو اعتمادية. لاحظ أنه اعتباراً من 25 أكتوبر، يعتمد Mastodon Helm Chart بالإصدار 2.1.0 على Apache Helm Chart بالإصدار 9.x.x.
كان ضبط قيم Apache Helm Chart صعباً نوعاً ما أيضاً – فالإصدار 9.6.5 يعلّم ingress.certManager على أنه مهجور، لكن قوالب Helm Chart تُظهر أن هذه القيمة لا تزال مطلوبة لتفعيل TLS في ingress. كانت هناك أيضاً مشكلة في Apache ConfigMap، لكن لحسن الحظ جرى دمجها وإغلاقها. هل أحتاج حتى إلى القول إن الترحيل كان صعباً إلى حد ما؟
أعاد إصدار Apache Helm Chart 10.0.0 صياغة منطق Ingress بالكامل. تذكّر أنك إذا تابعت هذا المقال لاحقاً، فقد تضطر إلى تكييف إعداد Ingress الموصوف هنا.
initJob
تنفّذ مهمة init ترحيلات قاعدة البيانات وelasticsearch، وتتحقق من الاتصال بـ S3، وتجري التجميع المسبق للأصول (assets).
يجب ضبط العلم initJob.createAdmin على false – وإلا لن تتمكن مهمة init من الاكتمال، وهذا الاكتمال مطلوب لتشغيل حاويات Mastodon (pods).
اتصال WebSocket
يجب ضبط useSecureWebSocket على true – فقد واجهنا مشكلة تعذّر فيها على الموقع فتح اتصال WebSocket مع خدمة البث (streaming). لا تزال المشكلة مفتوحة هنا.
التخزين
نستخدم Google Cloud Storage للتخزين. أثناء الترحيل، حاولت حاوية S3 استخدام بروتوكول http، رغم أن externalS3.protocol كانت قيمته https. وعلاوة على ذلك، بعد تشغيل Mastodon لم تتمكن الحاويات من إيجاد اسم الحاوية (bucket) الصحيح، ولهذا لزم الإعداد التالي.
forceHttpsS3Protocol: true
s3AliasHost: storage.googleapis.com/<bucket-name>
تفعيل المقاييس
لاحقاً في هذا الدرس، سأعرض أيضاً الإعداد اللازم لجمع المقاييس بواسطة Prometheus Statsd Exporter وعرضها على لوحة Grafana. ضع هنا اسم خدمة Prometheus Statsd Exporter لديك.
extraConfig:
STATSD_ADDR: <name of statds exporter service>.<namespace>:9125
سرّ Redis
حالياً، لا يتيح منطق Mastodon Helm Chart الإشارة إلى أسرار Redis الموجودة إلا عند استخدام Redis خارجي. وعندما يُستخدم Redis كاعتمادية، تجعل قوالب Helm Chart اسم السرّ مطابقاً لاسم إصدار Redis Helm Chart.
انقل كلمة المرور الحالية إلى سرّ جديد باسم <your-helm-release>-redis، مثلاً mastodon-bitnami-redis.
تعديل قيم Helm Chart
بعد أن يصبح كل شيء في مكانه، ينبغي أن يبدو ملف القيم لديك مثل الملف أدناه:
# Default values for the Helm Chart are from: https://github.com/bitnami/charts/blob/main/bitnami/mastodon/values.yaml
adminUser: admin
adminEmail: admin@email.com
existingSecret: existing-secret-name
extraConfig:
STATSD_ADDR: <name of statds exporter service>.<namespace>:9125
localDomain: your.domain
useSecureWebSocket: true
enableS3: true
forceHttpsS3Protocol: true
s3AliasHost: storage.googleapis.com/your-bucket-name
externalS3:
host: storage.googleapis.com
existingSecret: existing-secret-name
protocol: https
bucket: your-bucket-name
region: region-name
existingSecretAccessKeyIDKey: AWS_ACCESS_KEY_ID
existingSecretKeySecretKey: AWS_SECRET_ACCESS_KEY
smtp:
server: smtp-server
from_address: your-smtp-email@com
domain: your.domain
delivery_method: smtp
openssl_verify_mode: peer
enable_starttls_auto: true
auth_method: plain
existingSecret: existing-secret-name
web:
replicaCount: 1
resources:
limits:
cpu: 1
memory: 1280Mi
requests:
cpu: 250m
memory: 768Mi
sidekiq:
replicaCount: 1
resources:
limits:
cpu: 1
memory: 768Mi
requests:
cpu: 250m
memory: 512Mi
streaming:
replicaCount: 1
resources:
limits:
cpu: 500m
memory: 512Mi
requests:
cpu: 250m
memory: 128Mi
initJob:
createAdmin: false
externalDatabase:
user: mastodon
database: mastodon
existingSecret: existing-postgres-secret-name
existingSecretPasswordKey: password
redis:
enabled: true
architecture: standalone
existingSecret: mastodon-bitnami-redis
master:
persistence:
size: 2Gi
resources:
requests:
cpu: 100m
memory: 1Gi
limits:
cpu: 1
memory: 2Gi
auth:
existingSecret: mastodon-bitnami-redis
postgresql:
enabled: false
minio:
enabled: false
elasticsearch:
master:
masterOnly: false
replicaCount: 1
resources:
requests:
cpu: 100m
memory: 1Gi
limits:
cpu: 1
memory: 2Gi
heapSize: 250m
persistence:
size: 4Gi
coordinating:
replicaCount: 0
data:
replicaCount: 0
ingest:
replicaCount: 0
apache:
enabled: true
ingress:
enabled: true
hostname: your.domain
path: /
ingressClassName: nginx
annotations:
cert-manager.io/cluster-issuer: letsencrypt-issuer
tls:
- hosts:
- your.domain
secretName: your.domain-tls
certManager: true
تذكّر أن طلبات الموارد وحدودها هي أمثلة فقط – فهي تناسب إعدادي، لكنك قد تحتاج إلى ضبطها.
إعداد HelmRepository:
غيّر ملف HelmRepository لديك:
kind: HelmRepository
metadata:
name: mastodon
namespace: default
spec:
type: oci
interval: 5m
url: oci://registry-1.docker.io/bitnamicharts
إعداد HelmRelease:
غيّر ملف HelmRelease لديك:
apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
name: mastodon-bitnami
namespace: default
spec:
interval: 5m
chart:
spec:
chart: mastodon
version: 3.0.5
sourceRef:
kind: HelmRepository
name: mastodon
interval: 5m
valuesFrom:
- kind: ConfigMap
name: mastodon-values
- kind: ConfigMap
name: pgsql-14-configuration
valuesKey: DB_HOST
targetPath: externalDatabase.host
- kind: ConfigMap
name: pgsql-14-configuration
valuesKey: DB_PORT
targetPath: externalDatabase.port
لاحظ أنني لا أضع القيم مباشرة في ملف HelmRelease – بل أشير بدلاً من ذلك إلى ConfigMap مُولَّد بواسطة kustomize. توثيق Flux CD ذو الصلة متاح هنا.
تنفيذ الترحيل
أنشئ HelmRelease جديداً باسم مختلف، مثل mastodon-bitnami. هذا مهم – فمجرد تحديث HelmRelease الحالي لـ Mastodon لن ينجح، إذ يلزم إصدار منفصل. تحتوي InitJob الموصوفة سابقاً على خطافات post-install وpre-upgrade. وتعني خطاف pre-upgrade أن InitJob تعمل قبل تحديث أي موارد. ونتيجة لذلك ستُتجاهل التغييرات المُجراة على configmaps الموجودة. وستستمر InitJob في استخدام متغيرات قديمة وتفشل مراراً.
علّق HelmRelease القديم لـ Mastodon. وقلّص نشرات Mastodon القديمة إلى 0 نسخة – الفكرة هي إيقاف الخادم مع الإبقاء على الإعداد الحالي وإعداد Redis، احتياطاً فقط..
أضف HelmRelease الجديد وراقب initJob. وبمجرد نجاحها، ينبغي أن تعمل حاويات Streaming وWeb وSidekiq مع Redis وElastichsearch وApache. تحقق من ingress لديك – ففي هذه المرحلة ينبغي أن يكون cert-manager قد أصدر الشهادة الجديدة.
مراقبة Mastodon باستخدام Prometheus وGrafana
يعرض Mastodon مقاييس StatsD. وقبل أن يتمكن Prometheus من سحبها وGrafana من عرضها، يجب تحويلها. يحوّل Statsd-exporter من Prometheus Community مقاييس StatsD إلى مقاييس Prometheus وفق قواعد ربط (mapping) مضبوطة.
ثبّت Statsd-exporter Helm Chart في فضاء أسماء المراقبة لديك.
أضف HelmRepository:
apiVersion: source.toolkit.fluxcd.io/v1beta1
kind: HelmRepository
metadata:
name: prometheus-community
namespace: flux-system
spec:
interval: 5m0s
url: https://prometheus-community.github.io/helm-charts
أضف HelmRelease:
apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
name: prometheus-statsd-exporter
spec:
chart:
spec:
chart: prometheus-statsd-exporter
sourceRef:
kind: HelmRepository
name: prometheus-community
namespace: flux-system
version: 0.9.1
interval: 5m0s
releaseName: prometheus-statsd-exporter
valuesFrom:
- kind: ConfigMap
name: prometheus-statsd-exporter-values
valuesKey: prometheus-statsd-exporter-values.yaml
أشر إلى القيم من ConfigMap مُولَّد بواسطة Kustomize – وبهذه الطريقة يبقى HelmRelease لدينا مرتباً ونظيفاً.
يتطلب تحويل المقاييس من صيغة Statsd إلى صيغة يستطيع Prometheus قراءتها قواعد ربط. صادفت مقالاً مفيداً حقاً عن مراقبة Mastodon. ينشر مؤلفه [إعداد الربط الخاص به](https://ipng.ch/s/articles/2022/11/27/mastodon-3.html#:~:text=The Statsd Exporter mapping configuration file: [/etc/prometheus/statsd-mapping.yaml]) مع لوحة Grafana تؤدي المهمة على أكمل وجه.
ضع قواعد الربط في values.yaml:
serviceMonitor:
enabled: true
namespace: monitoring
endpoint: "/metrics"
statsd:
mappingConfig: |-
# add here mappings
تذكّر أن تضع اسم خدمة Prometheus Statsd exporter في قيم Mastodon Helm Chart، تحت متغير البيئة STATS_ADDR. استورد لوحتك إلى Grafana، وينبغي أن تتمكن من جمع الإحصاءات ومراقبة نسختك.
الخلاصة
عند هذه النقطة، ينبغي أن تكون نسخة Mastodon لديك قد رُحّلت بنجاح مع أدنى قدر من التوقف. قد تحتاج هذه الحزمة بعد إلى بضعة طلبات سحب (pull requests) وإصلاحات، لكن من المطمئن أن مستودع Bitnami على Github حسن الصيانة ويُحدَّث بانتظام. استمتع بتشغيل خادم Mastodon دون عقبات!