Գնահատել նախագիծը
← Բոլոր հրապարակումները

Mastodon Helm Chart-ի տեղափոխումը Bitnami-ի տարբերակին

Այս հոդվածը քայլ առ քայլ ցույց է տալիս, թե ինչպես անցնել ձեր Mastodon Helm Chart տեղակայումից Bitnami-ի փաթեթավորած chart-ին։

7 րոպե
DevOpsKubernetesgitopsmastodontwitterսոցիալական մեդիաԱմպ

Մի քանի ամիս առաջ մենք Mastodon-ը աշխատեցնում էինք Kubernetes-ի վրա՝ պաշտոնական Mastodon Helm Chart-ով։ Այդ ժամանակից ի վեր Mastodon համայնքը իր Helm Chart-ը տեղափոխել է մեկ այլ ռեպոզիտորիա։ Ցավոք, այդ Helm Chart-ը վատ է սպասարկվում, և այն օգտագործելու մեր փորձը բախվեց մի քանի արգելքների։ Արդյունքում որոշեցինք ընտրել Bitnami-ի Mastodon Helm Chart-ը՝ ավելի հուսալի և ավելի լավ սպասարկվող տարբերակ։

Bitnami-ն տրամադրում է հայտնի հավելվածների Helm Chart-երի մեծ հավաքածու։ Դրանցից շատերը կանոնավոր թարմացվում են, սակայն Mastodon Helm Chart-ի հետ աշխատելը մեզ համար դեռ որոշ դժվարություններ ստեղծեց։ Տեղափոխման ժամանակ հանդիպեցինք մի շարք խնդիրների, որոնցից մի քանիսը պայմանավորված էին սխալ սահմանված template-ներով։

Կարող եք հարցնել՝ արդյո՞ք Helm Chart-ը մեկ այլ, ավելի լավ սպասարկվող ռեպոզիտորիա տեղափոխելն իսկապես անհրաժեշտ է։ Անհրաժեշտ է։ Mastodon-ը վերջերս բացահայտեց մի քանի խոցելիություն, որոնք ազդում են ավելի հին տարբերակների վրա։ Ցավոք, Mastodon-ի պաշտոնական Helm Chart-ը չի ներառում այդ կրիտիկական անվտանգության թարմացումները։ Բարեբախտաբար, Bitnami թիմը անում է անհրաժեշտը՝ իր Helm Chart-ը արդիական պահելու համար։

Այսպես, ստորև ներկայացված է ձեռնարկ Mastodon Helm Chart-ից Bitnami-ի փաթեթավորածին անցնելու մասին։ Սկսենք։

Mastodon ինստանսի պատրաստումը տեղափոխմանը

Եթե կարդացել եք Mastodon-ը Kubernetes-ում տեղակայելու մասին իմ նախորդ հոդվածը, հավանաբար հիշում եք, որ ես Helm Chart-ը տեղակայում եմ Flux CD-ով՝ հետևելով GitOps մոտեցմանը։ Այս տեղափոխման համար ցանկանում ենք մեր ընթացիկ կոնֆիգուրացիան փոխել հնարավորինս քիչ։ Ահա անհրաժեշտ քայլերը.

  • Թարմացնել HelmRelease-ը և ճշգրտել Helm Chart-ի արժեքները։
  • Թարմացնել HelmRepository-ն։
  • Ստեղծել նոր secret Redis-ի համար։

Նկատի ունեցեք, որ տեղափոխումը կառաջացնի ժամանակավոր անհասանելիություն։ Պատրաստեք ձեր values.yaml ֆայլը՝ սա նկատի ունենալով։ Ստորև անդրադառնում եմ մի քանի բաժինների, որոնք կարող են խնդիրներ առաջացնել։ Mastodon Helm Chart-ը կարող եք գտնել Bitnami ռեպոզիտորիայում այս հղումով։

Apache Helm Chart և Ingress

Ingress-ը պահանջում է, որ Apache Helm Chart-ը՝ կախվածությունը, միացված լինի։ Նկատի ունեցեք, որ հոկտեմբերի 25-ի դրությամբ Mastodon Helm Chart-ի 2.1.0 տարբերակը կախված է Apache Helm Chart-ի 9.x.x տարբերակից։

Apache Helm Chart-ի արժեքները սահմանելը նույնպես որոշ չափով բարդ էր. 9.6.5 տարբերակը ingress.certManager-ը նշում է որպես deprecated, բայց Helm Chart-ի template-ները ցույց են տալիս, որ այս արժեքը դեռ պետք է ingress-ում TLS-ը միացնելու համար։ Նաև կար խնդիր Apache ConfigMap-ի հետ, թեև բարեբախտաբար այն merge արվեց և փակվեց։ Պետք է արդյոք ասել, որ տեղափոխումը բավական դժվար էր։

Apache Helm Chart 10.0.0 թողարկումը վերանայել է Ingress-ի ամբողջ տրամաբանությունը։ Նկատի ունեցեք, որ եթե այս հոդվածին հետևեք ավելի ուշ, հնարավոր է՝ ստիպված լինեք հարմարեցնել այստեղ նկարագրված Ingress կոնֆիգուրացիան։

initJob

Init job-ը կատարում է տվյալների բազայի և elasticsearch-ի միգրացիաները, ստուգում է S3-ին միացումը և նախակոմպիլյացնում է asset-ները։

initJob.createAdmin դրոշը պետք է դրված լինի false. եթե ոչ, init job-ը չի կարող ավարտվել, իսկ նրա ավարտը պահանջվում է Mastodon pod-երը գործարկելու համար։

WebSocket միացում

useSecureWebSocket-ը պետք է դրված լինի true. մենք բախվեցինք խնդրի, երբ կայքը չէր կարողանում բացել WebSocket միացում streaming-ին։ Խնդիրը դեռ բաց է այստեղ։

Պահեստավորում

Պահեստավորման համար մենք օգտագործում ենք Google Cloud Storage։ Տեղափոխման ժամանակ S3 bucket-ը փորձում էր օգտագործել http արձանագրությունը, թեև externalS3.protocol-ն ուներ https արժեքը։ Դրան գումարած՝ Mastodon-ի գործարկումից հետո pod-երը չէին կարողանում գտնել ճիշտ bucket-ի անունը, այդ պատճառով անհրաժեշտ եղավ ստորև բերված կոնֆիգուրացիան։

forceHttpsS3Protocol: true
s3AliasHost: storage.googleapis.com/<bucket-name>

Մետրիկաների միացում

Այս ձեռնարկի հետագա մասում ցույց կտամ նաև այն կոնֆիգուրացիան, որն անհրաժեշտ է Prometheus Statsd Exporter-ով մետրիկաներ հավաքելու և Grafana dashboard-ում ցուցադրելու համար։ Այստեղ գրեք ձեր Prometheus Statsd Exporter սերվիսի անունը։

extraConfig:
  STATSD_ADDR: <name of statds exporter service>.<namespace>:9125

Redis secret

Այս պահին Mastodon Helm Chart-ի տրամաբանությունը թույլ է տալիս ցույց տալ առկա Redis secret-ներ միայն այն դեպքում, երբ օգտագործվում է արտաքին Redis։ Երբ Redis-ը օգտագործվում է որպես կախվածություն, Helm Chart-ի template-ները secret-ի անունը դարձնում են նույնը, ինչ Redis Helm Chart release-ի անունը։

Տեղափոխեք ձեր ընթացիկ գաղտնաբառը <your-helm-release>-redis անունով նոր secret-ի մեջ, օրինակ՝ mastodon-bitnami-redis։

Խմբագրեք ձեր Helm Chart-ի արժեքները

Երբ ամեն ինչ պատրաստ է, ձեր values ֆայլը պետք է նման լինի ստորև բերվածին.

# Default values for the Helm Chart are from: https://github.com/bitnami/charts/blob/main/bitnami/mastodon/values.yaml

adminUser: admin
adminEmail: admin@email.com
existingSecret: existing-secret-name
extraConfig:
  STATSD_ADDR: <name of statds exporter service>.<namespace>:9125

localDomain: your.domain
useSecureWebSocket: true

enableS3: true
forceHttpsS3Protocol: true
s3AliasHost: storage.googleapis.com/your-bucket-name
externalS3:
  host: storage.googleapis.com
  existingSecret: existing-secret-name
  protocol: https
  bucket: your-bucket-name
  region: region-name
  existingSecretAccessKeyIDKey: AWS_ACCESS_KEY_ID
  existingSecretKeySecretKey: AWS_SECRET_ACCESS_KEY

smtp:
  server: smtp-server
  from_address: your-smtp-email@com
  domain: your.domain
  delivery_method: smtp
  openssl_verify_mode: peer
  enable_starttls_auto: true
  auth_method: plain
  existingSecret: existing-secret-name

web:
  replicaCount: 1
  resources:
    limits:
      cpu: 1
      memory: 1280Mi
    requests:
      cpu: 250m
      memory: 768Mi

sidekiq:
  replicaCount: 1
  resources:
    limits:
      cpu: 1
      memory: 768Mi
    requests:
      cpu: 250m
      memory: 512Mi

streaming:
  replicaCount: 1
  resources:
    limits:
      cpu: 500m
      memory: 512Mi
    requests:
      cpu: 250m
      memory: 128Mi

initJob:
  createAdmin: false

externalDatabase:
  user: mastodon
  database: mastodon
  existingSecret: existing-postgres-secret-name
  existingSecretPasswordKey: password

redis:
  enabled: true
  architecture: standalone
  existingSecret: mastodon-bitnami-redis
  master:
    persistence:
      size: 2Gi
    resources:
      requests:
        cpu: 100m
        memory: 1Gi
      limits:
        cpu: 1
        memory: 2Gi
  auth:
    existingSecret: mastodon-bitnami-redis

postgresql:
  enabled: false

minio:
  enabled: false

elasticsearch:
  master:
    masterOnly: false
    replicaCount: 1
    resources:
      requests:
        cpu: 100m
        memory: 1Gi
      limits:
        cpu: 1
        memory: 2Gi
    heapSize: 250m
    persistence:
      size: 4Gi
  coordinating:
    replicaCount: 0
  data:
    replicaCount: 0
  ingest:
    replicaCount: 0

apache:
  enabled: true
  ingress:
    enabled: true
    hostname: your.domain
    path: /
    ingressClassName: nginx
    annotations:
      cert-manager.io/cluster-issuer: letsencrypt-issuer
    tls:
      - hosts:
          - your.domain
        secretName: your.domain-tls
    certManager: true

Նկատի ունեցեք, որ ռեսուրսների requests և limits արժեքները միայն օրինակներ են. դրանք հարմար են իմ կարգավորմանը, բայց գուցե պետք լինի դրանք ճշգրտել։

Կարգավորեք HelmRepository-ն.

Փոխեք ձեր HelmRepository ֆայլը.

kind: HelmRepository
metadata:
  name: mastodon
  namespace: default
spec:
  type: oci
  interval: 5m
  url: oci://registry-1.docker.io/bitnamicharts

Կարգավորեք HelmRelease-ը.

Փոխեք ձեր HelmRelease ֆայլը.

apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
  name: mastodon-bitnami
  namespace: default
spec:
  interval: 5m
  chart:
    spec:
      chart: mastodon
      version: 3.0.5
      sourceRef:
        kind: HelmRepository
        name: mastodon
      interval: 5m
  valuesFrom:
    - kind: ConfigMap
      name: mastodon-values
    - kind: ConfigMap
      name: pgsql-14-configuration
      valuesKey: DB_HOST
      targetPath: externalDatabase.host
    - kind: ConfigMap
      name: pgsql-14-configuration
      valuesKey: DB_PORT
      targetPath: externalDatabase.port

Նկատեք, որ ես արժեքները ուղղակիորեն չեմ դնում HelmRelease ֆայլում. փոխարենը հղվում եմ kustomize-ով գեներացված ConfigMap-ին։ Flux CD-ի համապատասխան փաստաթղթերը հասանելի են այստեղ։

Կատարեք տեղափոխումը

Ստեղծեք նոր HelmRelease այլ անունով, օրինակ՝ mastodon-bitnami։ Սա կարևոր է. պարզապես առկա Mastodon HelmRelease-ը թարմացնելը չի աշխատի, պահանջվում է առանձին մեկը։ Վերը նկարագրված InitJob-ն ունի post-install և pre-upgrade hook-եր։ Pre-upgrade hook-ը նշանակում է, որ InitJob-ը աշխատում է նախքան որևէ ռեսուրսի թարմացումը։ Արդյունքում առկա configmap-ներում կատարված փոփոխությունները կանտեսվեն։ InitJob-ը կշարունակի օգտագործել հնացած փոփոխականները և նորից ու նորից կձախողվի։

Կասեցրեք հին Mastodon HelmRelease-ը։ Հին Mastodon deployment-ները փոքրացրեք մինչև 0 replica. գաղափարը սերվերը անջատելն է՝ ընթացիկ կոնֆիգուրացիան և Redis-ի կարգավորումը պահպանելով, պարզապես վստահ լինելու համար..

Ավելացրեք նոր HelmRelease-ը և հետևեք initJob-ին։ Երբ այն հաջողվի, Streaming, Web և Sidekiq pod-երը պետք է բարձրանան Redis-ի, Elastichsearch-ի և Apache-ի հետ միասին։ Ստուգեք ձեր ingress-ը. այս պահին cert-manager-ը պետք է նոր սերտիֆիկատ թողարկած լինի։

Mastodon-ի մոնիթորինգը Prometheus-ով և Grafana-ով

Mastodon-ը տրամադրում է StatsD մետրիկաներ։ Նախքան Prometheus-ը կարողանա դրանք հավաքել և Grafana-ն՝ ցուցադրել, դրանք պետք է փոխակերպվեն։ Prometheus Community-ի Statsd-exporter-ը StatsD մետրիկաները վերածում է Prometheus մետրիկաների՝ կարգավորված mapping կանոններով։

Տեղադրեք Statsd-exporter Helm Chart-ը ձեր monitoring namespace-ում։

Ավելացրեք HelmRepository-ն.

apiVersion: source.toolkit.fluxcd.io/v1beta1
kind: HelmRepository
metadata:
  name: prometheus-community
  namespace: flux-system
spec:
  interval: 5m0s
  url: https://prometheus-community.github.io/helm-charts

Ավելացրեք HelmRelease-ը.

apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
  name: prometheus-statsd-exporter
spec:
  chart:
    spec:
      chart: prometheus-statsd-exporter
      sourceRef:
        kind: HelmRepository
        name: prometheus-community
        namespace: flux-system
      version: 0.9.1
  interval: 5m0s
  releaseName: prometheus-statsd-exporter
  valuesFrom:
    - kind: ConfigMap
      name: prometheus-statsd-exporter-values
      valuesKey: prometheus-statsd-exporter-values.yaml

Արժեքներին հղվեք Kustomize-ով գեներացված ConfigMap-ից. այդպես մեր HelmRelease-ը կմնա կոկիկ և կարգավոր։

Մետրիկաները Statsd ձևաչափից Prometheus-ի կարդալու ձևաչափի փոխակերպելու համար անհրաժեշտ են mapping-ներ։ Ես հանդիպեցի Mastodon-ի մոնիթորինգի մասին իսկապես օգտակար հոդվածի։ Դրա հեղինակը [հրապարակում է իր mapping կոնֆիգուրացիան](https://ipng.ch/s/articles/2022/11/27/mastodon-3.html#:~:text=The Statsd Exporter mapping configuration file: [/etc/prometheus/statsd-mapping.yaml])՝ Grafana Dashboard-ի հետ միասին, որը գերազանց է կատարում իր գործը։

Mapping-ները դրեք values.yaml-ում.

serviceMonitor:
  enabled: true
  namespace: monitoring
  endpoint: "/metrics"
statsd:
  mappingConfig: |-
    # add here mappings

Հիշեք Prometheus Statsd exporter սերվիսի անունը դնել Mastodon Helm Chart-ի արժեքներում՝ STATS_ADDR env-ի տակ։ Ներմուծեք ձեր dashboard-ը Grafana-ում, և պետք է կարողանաք վիճակագրություն հավաքել և հետևել ձեր ինստանսին։

Ամփոփում

Այս պահին ձեր Mastodon ինստանսը պետք է հաջողությամբ տեղափոխված լինի նվազագույն անհասանելիությամբ։ Այս Helm Chart-ին դեռ կարող են պետք լինել մի քանի pull request և ուղղում, բայց մխիթարական է, որ Bitnami-ի Github ռեպոզիտորիան լավ սպասարկվում է և կանոնավոր թարմացվում։ Զվարճացեք՝ ձեր Mastodon սերվերն առանց խոչընդոտների աշխատեցնելով։