تقدير المشروع
← كل المقالات

نقل Mastodon Helm Chart إلى Bitnami

يرشدك هذا المقال خطوة بخطوة إلى التحويل من نشر Mastodon Helm Chart إلى الحزمة التي تقدمها Bitnami.

7 دقائق قراءة
DevOpsKubernetesgitopsmastodontwitterوسائل التواصل الاجتماعيالسحابة

قبل بضعة أشهر شغّلنا Mastodon على Kubernetes باستخدام Mastodon Helm Chart الرسمي. ومنذ ذلك الحين نقل مجتمع Mastodon حزمة Helm Chart الخاصة به إلى مستودع آخر. للأسف، هذه الحزمة ضعيفة الصيانة، وواجهتنا عدة عوائق عند محاولة استخدامها. ونتيجة لذلك قررنا اعتماد Mastodon Helm Chart من Bitnami، وهو خيار أكثر موثوقية وأفضل صيانة.

تقدّم Bitnami مجموعة كبيرة من حزم Helm Chart للتطبيقات المعروفة. ويُحدَّث كثير منها بانتظام، ومع ذلك فقد طرح العمل مع Mastodon Helm Chart بعض التحديات علينا. وأثناء الترحيل واجهنا عدداً من المشكلات، بعضها ناتج عن قوالب عُرّفت بشكل غير صحيح.

قد تسأل هل نقل Helm Chart إلى مستودع آخر أفضل صيانة ضروري فعلاً. نعم، هو كذلك. فقد كشف Mastodon مؤخراً عن عدة ثغرات أمنية تؤثر في الإصدارات الأقدم. وللأسف، لا تتضمن حزمة Helm Chart الرسمية لـ Mastodon هذه التصحيحات الأمنية الحرجة. لحسن الحظ، يقوم فريق Bitnami بما يلزم لإبقاء حزمته محدّثة.

فيما يلي إذن درس تعليمي حول الانتقال من Mastodon Helm Chart إلى الحزمة التي تقدمها Bitnami. لنبدأ!

تجهيز نسخة Mastodon للترحيل

إذا قرأت مقالي السابق عن نشر Mastodon على Kubernetes، فقد تذكر أنني أنشر Helm Chart باستخدام Flux CD، متبعاً نهج GitOps. في هذا الترحيل نريد تغيير إعدادنا الحالي بأقل قدر ممكن. هذه هي الخطوات التي نحتاجها:

  • تحديث HelmRelease وتعديل قيم Helm Chart.
  • تحديث HelmRepository.
  • إنشاء سرّ (secret) جديد لـ Redis.

انتبه إلى أن الترحيل سيسبب توقفاً مؤقتاً عن العمل. جهّز ملف values.yaml مع أخذ ذلك في الحسبان. سأستعرض أدناه بعض الأقسام التي قد تسبب مشكلات. يمكنك إيجاد Mastodon Helm Chart في مستودع Bitnami عبر هذا الرابط.

Apache Helm Chart وIngress

يتطلب Ingress تفعيل Apache Helm Chart، وهو اعتمادية. لاحظ أنه اعتباراً من 25 أكتوبر، يعتمد Mastodon Helm Chart بالإصدار 2.1.0 على Apache Helm Chart بالإصدار 9.x.x.

كان ضبط قيم Apache Helm Chart صعباً نوعاً ما أيضاً – فالإصدار 9.6.5 يعلّم ingress.certManager على أنه مهجور، لكن قوالب Helm Chart تُظهر أن هذه القيمة لا تزال مطلوبة لتفعيل TLS في ingress. كانت هناك أيضاً مشكلة في Apache ConfigMap، لكن لحسن الحظ جرى دمجها وإغلاقها. هل أحتاج حتى إلى القول إن الترحيل كان صعباً إلى حد ما؟

أعاد إصدار Apache Helm Chart 10.0.0 صياغة منطق Ingress بالكامل. تذكّر أنك إذا تابعت هذا المقال لاحقاً، فقد تضطر إلى تكييف إعداد Ingress الموصوف هنا.

initJob

تنفّذ مهمة init ترحيلات قاعدة البيانات وelasticsearch، وتتحقق من الاتصال بـ S3، وتجري التجميع المسبق للأصول (assets).

يجب ضبط العلم initJob.createAdmin على false – وإلا لن تتمكن مهمة init من الاكتمال، وهذا الاكتمال مطلوب لتشغيل حاويات Mastodon (pods).

اتصال WebSocket

يجب ضبط useSecureWebSocket على true – فقد واجهنا مشكلة تعذّر فيها على الموقع فتح اتصال WebSocket مع خدمة البث (streaming). لا تزال المشكلة مفتوحة هنا.

التخزين

نستخدم Google Cloud Storage للتخزين. أثناء الترحيل، حاولت حاوية S3 استخدام بروتوكول http، رغم أن externalS3.protocol كانت قيمته https. وعلاوة على ذلك، بعد تشغيل Mastodon لم تتمكن الحاويات من إيجاد اسم الحاوية (bucket) الصحيح، ولهذا لزم الإعداد التالي.

forceHttpsS3Protocol: true
s3AliasHost: storage.googleapis.com/<bucket-name>

تفعيل المقاييس

لاحقاً في هذا الدرس، سأعرض أيضاً الإعداد اللازم لجمع المقاييس بواسطة Prometheus Statsd Exporter وعرضها على لوحة Grafana. ضع هنا اسم خدمة Prometheus Statsd Exporter لديك.

extraConfig:
  STATSD_ADDR: <name of statds exporter service>.<namespace>:9125

سرّ Redis

حالياً، لا يتيح منطق Mastodon Helm Chart الإشارة إلى أسرار Redis الموجودة إلا عند استخدام Redis خارجي. وعندما يُستخدم Redis كاعتمادية، تجعل قوالب Helm Chart اسم السرّ مطابقاً لاسم إصدار Redis Helm Chart.

انقل كلمة المرور الحالية إلى سرّ جديد باسم <your-helm-release>-redis، مثلاً mastodon-bitnami-redis.

تعديل قيم Helm Chart

بعد أن يصبح كل شيء في مكانه، ينبغي أن يبدو ملف القيم لديك مثل الملف أدناه:

# Default values for the Helm Chart are from: https://github.com/bitnami/charts/blob/main/bitnami/mastodon/values.yaml

adminUser: admin
adminEmail: admin@email.com
existingSecret: existing-secret-name
extraConfig:
  STATSD_ADDR: <name of statds exporter service>.<namespace>:9125

localDomain: your.domain
useSecureWebSocket: true

enableS3: true
forceHttpsS3Protocol: true
s3AliasHost: storage.googleapis.com/your-bucket-name
externalS3:
  host: storage.googleapis.com
  existingSecret: existing-secret-name
  protocol: https
  bucket: your-bucket-name
  region: region-name
  existingSecretAccessKeyIDKey: AWS_ACCESS_KEY_ID
  existingSecretKeySecretKey: AWS_SECRET_ACCESS_KEY

smtp:
  server: smtp-server
  from_address: your-smtp-email@com
  domain: your.domain
  delivery_method: smtp
  openssl_verify_mode: peer
  enable_starttls_auto: true
  auth_method: plain
  existingSecret: existing-secret-name

web:
  replicaCount: 1
  resources:
    limits:
      cpu: 1
      memory: 1280Mi
    requests:
      cpu: 250m
      memory: 768Mi

sidekiq:
  replicaCount: 1
  resources:
    limits:
      cpu: 1
      memory: 768Mi
    requests:
      cpu: 250m
      memory: 512Mi

streaming:
  replicaCount: 1
  resources:
    limits:
      cpu: 500m
      memory: 512Mi
    requests:
      cpu: 250m
      memory: 128Mi

initJob:
  createAdmin: false

externalDatabase:
  user: mastodon
  database: mastodon
  existingSecret: existing-postgres-secret-name
  existingSecretPasswordKey: password

redis:
  enabled: true
  architecture: standalone
  existingSecret: mastodon-bitnami-redis
  master:
    persistence:
      size: 2Gi
    resources:
      requests:
        cpu: 100m
        memory: 1Gi
      limits:
        cpu: 1
        memory: 2Gi
  auth:
    existingSecret: mastodon-bitnami-redis

postgresql:
  enabled: false

minio:
  enabled: false

elasticsearch:
  master:
    masterOnly: false
    replicaCount: 1
    resources:
      requests:
        cpu: 100m
        memory: 1Gi
      limits:
        cpu: 1
        memory: 2Gi
    heapSize: 250m
    persistence:
      size: 4Gi
  coordinating:
    replicaCount: 0
  data:
    replicaCount: 0
  ingest:
    replicaCount: 0

apache:
  enabled: true
  ingress:
    enabled: true
    hostname: your.domain
    path: /
    ingressClassName: nginx
    annotations:
      cert-manager.io/cluster-issuer: letsencrypt-issuer
    tls:
      - hosts:
          - your.domain
        secretName: your.domain-tls
    certManager: true

تذكّر أن طلبات الموارد وحدودها هي أمثلة فقط – فهي تناسب إعدادي، لكنك قد تحتاج إلى ضبطها.

إعداد HelmRepository:

غيّر ملف HelmRepository لديك:

kind: HelmRepository
metadata:
  name: mastodon
  namespace: default
spec:
  type: oci
  interval: 5m
  url: oci://registry-1.docker.io/bitnamicharts

إعداد HelmRelease:

غيّر ملف HelmRelease لديك:

apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
  name: mastodon-bitnami
  namespace: default
spec:
  interval: 5m
  chart:
    spec:
      chart: mastodon
      version: 3.0.5
      sourceRef:
        kind: HelmRepository
        name: mastodon
      interval: 5m
  valuesFrom:
    - kind: ConfigMap
      name: mastodon-values
    - kind: ConfigMap
      name: pgsql-14-configuration
      valuesKey: DB_HOST
      targetPath: externalDatabase.host
    - kind: ConfigMap
      name: pgsql-14-configuration
      valuesKey: DB_PORT
      targetPath: externalDatabase.port

لاحظ أنني لا أضع القيم مباشرة في ملف HelmRelease – بل أشير بدلاً من ذلك إلى ConfigMap مُولَّد بواسطة kustomize. توثيق Flux CD ذو الصلة متاح هنا.

تنفيذ الترحيل

أنشئ HelmRelease جديداً باسم مختلف، مثل mastodon-bitnami. هذا مهم – فمجرد تحديث HelmRelease الحالي لـ Mastodon لن ينجح، إذ يلزم إصدار منفصل. تحتوي InitJob الموصوفة سابقاً على خطافات post-install وpre-upgrade. وتعني خطاف pre-upgrade أن InitJob تعمل قبل تحديث أي موارد. ونتيجة لذلك ستُتجاهل التغييرات المُجراة على configmaps الموجودة. وستستمر InitJob في استخدام متغيرات قديمة وتفشل مراراً.

علّق HelmRelease القديم لـ Mastodon. وقلّص نشرات Mastodon القديمة إلى 0 نسخة – الفكرة هي إيقاف الخادم مع الإبقاء على الإعداد الحالي وإعداد Redis، احتياطاً فقط..

أضف HelmRelease الجديد وراقب initJob. وبمجرد نجاحها، ينبغي أن تعمل حاويات Streaming وWeb وSidekiq مع Redis وElastichsearch وApache. تحقق من ingress لديك – ففي هذه المرحلة ينبغي أن يكون cert-manager قد أصدر الشهادة الجديدة.

مراقبة Mastodon باستخدام Prometheus وGrafana

يعرض Mastodon مقاييس StatsD. وقبل أن يتمكن Prometheus من سحبها وGrafana من عرضها، يجب تحويلها. يحوّل Statsd-exporter من Prometheus Community مقاييس StatsD إلى مقاييس Prometheus وفق قواعد ربط (mapping) مضبوطة.

ثبّت Statsd-exporter Helm Chart في فضاء أسماء المراقبة لديك.

أضف HelmRepository:

apiVersion: source.toolkit.fluxcd.io/v1beta1
kind: HelmRepository
metadata:
  name: prometheus-community
  namespace: flux-system
spec:
  interval: 5m0s
  url: https://prometheus-community.github.io/helm-charts

أضف HelmRelease:

apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
  name: prometheus-statsd-exporter
spec:
  chart:
    spec:
      chart: prometheus-statsd-exporter
      sourceRef:
        kind: HelmRepository
        name: prometheus-community
        namespace: flux-system
      version: 0.9.1
  interval: 5m0s
  releaseName: prometheus-statsd-exporter
  valuesFrom:
    - kind: ConfigMap
      name: prometheus-statsd-exporter-values
      valuesKey: prometheus-statsd-exporter-values.yaml

أشر إلى القيم من ConfigMap مُولَّد بواسطة Kustomize – وبهذه الطريقة يبقى HelmRelease لدينا مرتباً ونظيفاً.

يتطلب تحويل المقاييس من صيغة Statsd إلى صيغة يستطيع Prometheus قراءتها قواعد ربط. صادفت مقالاً مفيداً حقاً عن مراقبة Mastodon. ينشر مؤلفه [إعداد الربط الخاص به](https://ipng.ch/s/articles/2022/11/27/mastodon-3.html#:~:text=The Statsd Exporter mapping configuration file: [/etc/prometheus/statsd-mapping.yaml]) مع لوحة Grafana تؤدي المهمة على أكمل وجه.

ضع قواعد الربط في values.yaml:

serviceMonitor:
  enabled: true
  namespace: monitoring
  endpoint: "/metrics"
statsd:
  mappingConfig: |-
    # add here mappings

تذكّر أن تضع اسم خدمة Prometheus Statsd exporter في قيم Mastodon Helm Chart، تحت متغير البيئة STATS_ADDR. استورد لوحتك إلى Grafana، وينبغي أن تتمكن من جمع الإحصاءات ومراقبة نسختك.

الخلاصة

عند هذه النقطة، ينبغي أن تكون نسخة Mastodon لديك قد رُحّلت بنجاح مع أدنى قدر من التوقف. قد تحتاج هذه الحزمة بعد إلى بضعة طلبات سحب (pull requests) وإصلاحات، لكن من المطمئن أن مستودع Bitnami على Github حسن الصيانة ويُحدَّث بانتظام. استمتع بتشغيل خادم Mastodon دون عقبات!