Mastodon Helm Chart-ի տեղափոխումը Bitnami-ի տարբերակին
Այս հոդվածը քայլ առ քայլ ցույց է տալիս, թե ինչպես անցնել ձեր Mastodon Helm Chart տեղակայումից Bitnami-ի փաթեթավորած chart-ին։
Մի քանի ամիս առաջ մենք Mastodon-ը աշխատեցնում էինք Kubernetes-ի վրա՝ պաշտոնական Mastodon Helm Chart-ով։ Այդ ժամանակից ի վեր Mastodon համայնքը իր Helm Chart-ը տեղափոխել է մեկ այլ ռեպոզիտորիա։ Ցավոք, այդ Helm Chart-ը վատ է սպասարկվում, և այն օգտագործելու մեր փորձը բախվեց մի քանի արգելքների։ Արդյունքում որոշեցինք ընտրել Bitnami-ի Mastodon Helm Chart-ը՝ ավելի հուսալի և ավելի լավ սպասարկվող տարբերակ։
Bitnami-ն տրամադրում է հայտնի հավելվածների Helm Chart-երի մեծ հավաքածու։ Դրանցից շատերը կանոնավոր թարմացվում են, սակայն Mastodon Helm Chart-ի հետ աշխատելը մեզ համար դեռ որոշ դժվարություններ ստեղծեց։ Տեղափոխման ժամանակ հանդիպեցինք մի շարք խնդիրների, որոնցից մի քանիսը պայմանավորված էին սխալ սահմանված template-ներով։
Կարող եք հարցնել՝ արդյո՞ք Helm Chart-ը մեկ այլ, ավելի լավ սպասարկվող ռեպոզիտորիա տեղափոխելն իսկապես անհրաժեշտ է։ Անհրաժեշտ է։ Mastodon-ը վերջերս բացահայտեց մի քանի խոցելիություն, որոնք ազդում են ավելի հին տարբերակների վրա։ Ցավոք, Mastodon-ի պաշտոնական Helm Chart-ը չի ներառում այդ կրիտիկական անվտանգության թարմացումները։ Բարեբախտաբար, Bitnami թիմը անում է անհրաժեշտը՝ իր Helm Chart-ը արդիական պահելու համար։
Այսպես, ստորև ներկայացված է ձեռնարկ Mastodon Helm Chart-ից Bitnami-ի փաթեթավորածին անցնելու մասին։ Սկսենք։
Mastodon ինստանսի պատրաստումը տեղափոխմանը
Եթե կարդացել եք Mastodon-ը Kubernetes-ում տեղակայելու մասին իմ նախորդ հոդվածը, հավանաբար հիշում եք, որ ես Helm Chart-ը տեղակայում եմ Flux CD-ով՝ հետևելով GitOps մոտեցմանը։ Այս տեղափոխման համար ցանկանում ենք մեր ընթացիկ կոնֆիգուրացիան փոխել հնարավորինս քիչ։ Ահա անհրաժեշտ քայլերը.
- Թարմացնել HelmRelease-ը և ճշգրտել Helm Chart-ի արժեքները։
- Թարմացնել HelmRepository-ն։
- Ստեղծել նոր secret Redis-ի համար։
Նկատի ունեցեք, որ տեղափոխումը կառաջացնի ժամանակավոր անհասանելիություն։ Պատրաստեք ձեր values.yaml ֆայլը՝ սա նկատի ունենալով։ Ստորև անդրադառնում եմ մի քանի բաժինների, որոնք կարող են խնդիրներ առաջացնել։ Mastodon Helm Chart-ը կարող եք գտնել Bitnami ռեպոզիտորիայում այս հղումով։
Apache Helm Chart և Ingress
Ingress-ը պահանջում է, որ Apache Helm Chart-ը՝ կախվածությունը, միացված լինի։ Նկատի ունեցեք, որ հոկտեմբերի 25-ի դրությամբ Mastodon Helm Chart-ի 2.1.0 տարբերակը կախված է Apache Helm Chart-ի 9.x.x տարբերակից։
Apache Helm Chart-ի արժեքները սահմանելը նույնպես որոշ չափով բարդ էր. 9.6.5 տարբերակը ingress.certManager-ը նշում է որպես deprecated, բայց Helm Chart-ի template-ները ցույց են տալիս, որ այս արժեքը դեռ պետք է ingress-ում TLS-ը միացնելու համար։ Նաև կար խնդիր Apache ConfigMap-ի հետ, թեև բարեբախտաբար այն merge արվեց և փակվեց։ Պետք է արդյոք ասել, որ տեղափոխումը բավական դժվար էր։
Apache Helm Chart 10.0.0 թողարկումը վերանայել է Ingress-ի ամբողջ տրամաբանությունը։ Նկատի ունեցեք, որ եթե այս հոդվածին հետևեք ավելի ուշ, հնարավոր է՝ ստիպված լինեք հարմարեցնել այստեղ նկարագրված Ingress կոնֆիգուրացիան։
initJob
Init job-ը կատարում է տվյալների բազայի և elasticsearch-ի միգրացիաները, ստուգում է S3-ին միացումը և նախակոմպիլյացնում է asset-ները։
initJob.createAdmin դրոշը պետք է դրված լինի false. եթե ոչ, init job-ը չի կարող ավարտվել, իսկ նրա ավարտը պահանջվում է Mastodon pod-երը գործարկելու համար։
WebSocket միացում
useSecureWebSocket-ը պետք է դրված լինի true. մենք բախվեցինք խնդրի, երբ կայքը չէր կարողանում բացել WebSocket միացում streaming-ին։ Խնդիրը դեռ բաց է այստեղ։
Պահեստավորում
Պահեստավորման համար մենք օգտագործում ենք Google Cloud Storage։ Տեղափոխման ժամանակ S3 bucket-ը փորձում էր օգտագործել http արձանագրությունը, թեև externalS3.protocol-ն ուներ https արժեքը։ Դրան գումարած՝ Mastodon-ի գործարկումից հետո pod-երը չէին կարողանում գտնել ճիշտ bucket-ի անունը, այդ պատճառով անհրաժեշտ եղավ ստորև բերված կոնֆիգուրացիան։
forceHttpsS3Protocol: true
s3AliasHost: storage.googleapis.com/<bucket-name>
Մետրիկաների միացում
Այս ձեռնարկի հետագա մասում ցույց կտամ նաև այն կոնֆիգուրացիան, որն անհրաժեշտ է Prometheus Statsd Exporter-ով մետրիկաներ հավաքելու և Grafana dashboard-ում ցուցադրելու համար։ Այստեղ գրեք ձեր Prometheus Statsd Exporter սերվիսի անունը։
extraConfig:
STATSD_ADDR: <name of statds exporter service>.<namespace>:9125
Redis secret
Այս պահին Mastodon Helm Chart-ի տրամաբանությունը թույլ է տալիս ցույց տալ առկա Redis secret-ներ միայն այն դեպքում, երբ օգտագործվում է արտաքին Redis։ Երբ Redis-ը օգտագործվում է որպես կախվածություն, Helm Chart-ի template-ները secret-ի անունը դարձնում են նույնը, ինչ Redis Helm Chart release-ի անունը։
Տեղափոխեք ձեր ընթացիկ գաղտնաբառը <your-helm-release>-redis անունով նոր secret-ի մեջ, օրինակ՝ mastodon-bitnami-redis։
Խմբագրեք ձեր Helm Chart-ի արժեքները
Երբ ամեն ինչ պատրաստ է, ձեր values ֆայլը պետք է նման լինի ստորև բերվածին.
# Default values for the Helm Chart are from: https://github.com/bitnami/charts/blob/main/bitnami/mastodon/values.yaml
adminUser: admin
adminEmail: admin@email.com
existingSecret: existing-secret-name
extraConfig:
STATSD_ADDR: <name of statds exporter service>.<namespace>:9125
localDomain: your.domain
useSecureWebSocket: true
enableS3: true
forceHttpsS3Protocol: true
s3AliasHost: storage.googleapis.com/your-bucket-name
externalS3:
host: storage.googleapis.com
existingSecret: existing-secret-name
protocol: https
bucket: your-bucket-name
region: region-name
existingSecretAccessKeyIDKey: AWS_ACCESS_KEY_ID
existingSecretKeySecretKey: AWS_SECRET_ACCESS_KEY
smtp:
server: smtp-server
from_address: your-smtp-email@com
domain: your.domain
delivery_method: smtp
openssl_verify_mode: peer
enable_starttls_auto: true
auth_method: plain
existingSecret: existing-secret-name
web:
replicaCount: 1
resources:
limits:
cpu: 1
memory: 1280Mi
requests:
cpu: 250m
memory: 768Mi
sidekiq:
replicaCount: 1
resources:
limits:
cpu: 1
memory: 768Mi
requests:
cpu: 250m
memory: 512Mi
streaming:
replicaCount: 1
resources:
limits:
cpu: 500m
memory: 512Mi
requests:
cpu: 250m
memory: 128Mi
initJob:
createAdmin: false
externalDatabase:
user: mastodon
database: mastodon
existingSecret: existing-postgres-secret-name
existingSecretPasswordKey: password
redis:
enabled: true
architecture: standalone
existingSecret: mastodon-bitnami-redis
master:
persistence:
size: 2Gi
resources:
requests:
cpu: 100m
memory: 1Gi
limits:
cpu: 1
memory: 2Gi
auth:
existingSecret: mastodon-bitnami-redis
postgresql:
enabled: false
minio:
enabled: false
elasticsearch:
master:
masterOnly: false
replicaCount: 1
resources:
requests:
cpu: 100m
memory: 1Gi
limits:
cpu: 1
memory: 2Gi
heapSize: 250m
persistence:
size: 4Gi
coordinating:
replicaCount: 0
data:
replicaCount: 0
ingest:
replicaCount: 0
apache:
enabled: true
ingress:
enabled: true
hostname: your.domain
path: /
ingressClassName: nginx
annotations:
cert-manager.io/cluster-issuer: letsencrypt-issuer
tls:
- hosts:
- your.domain
secretName: your.domain-tls
certManager: true
Նկատի ունեցեք, որ ռեսուրսների requests և limits արժեքները միայն օրինակներ են. դրանք հարմար են իմ կարգավորմանը, բայց գուցե պետք լինի դրանք ճշգրտել։
Կարգավորեք HelmRepository-ն.
Փոխեք ձեր HelmRepository ֆայլը.
kind: HelmRepository
metadata:
name: mastodon
namespace: default
spec:
type: oci
interval: 5m
url: oci://registry-1.docker.io/bitnamicharts
Կարգավորեք HelmRelease-ը.
Փոխեք ձեր HelmRelease ֆայլը.
apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
name: mastodon-bitnami
namespace: default
spec:
interval: 5m
chart:
spec:
chart: mastodon
version: 3.0.5
sourceRef:
kind: HelmRepository
name: mastodon
interval: 5m
valuesFrom:
- kind: ConfigMap
name: mastodon-values
- kind: ConfigMap
name: pgsql-14-configuration
valuesKey: DB_HOST
targetPath: externalDatabase.host
- kind: ConfigMap
name: pgsql-14-configuration
valuesKey: DB_PORT
targetPath: externalDatabase.port
Նկատեք, որ ես արժեքները ուղղակիորեն չեմ դնում HelmRelease ֆայլում. փոխարենը հղվում եմ kustomize-ով գեներացված ConfigMap-ին։ Flux CD-ի համապատասխան փաստաթղթերը հասանելի են այստեղ։
Կատարեք տեղափոխումը
Ստեղծեք նոր HelmRelease այլ անունով, օրինակ՝ mastodon-bitnami։ Սա կարևոր է. պարզապես առկա Mastodon HelmRelease-ը թարմացնելը չի աշխատի, պահանջվում է առանձին մեկը։ Վերը նկարագրված InitJob-ն ունի post-install և pre-upgrade hook-եր։ Pre-upgrade hook-ը նշանակում է, որ InitJob-ը աշխատում է նախքան որևէ ռեսուրսի թարմացումը։ Արդյունքում առկա configmap-ներում կատարված փոփոխությունները կանտեսվեն։ InitJob-ը կշարունակի օգտագործել հնացած փոփոխականները և նորից ու նորից կձախողվի։
Կասեցրեք հին Mastodon HelmRelease-ը։ Հին Mastodon deployment-ները փոքրացրեք մինչև 0 replica. գաղափարը սերվերը անջատելն է՝ ընթացիկ կոնֆիգուրացիան և Redis-ի կարգավորումը պահպանելով, պարզապես վստահ լինելու համար..
Ավելացրեք նոր HelmRelease-ը և հետևեք initJob-ին։ Երբ այն հաջողվի, Streaming, Web և Sidekiq pod-երը պետք է բարձրանան Redis-ի, Elastichsearch-ի և Apache-ի հետ միասին։ Ստուգեք ձեր ingress-ը. այս պահին cert-manager-ը պետք է նոր սերտիֆիկատ թողարկած լինի։
Mastodon-ի մոնիթորինգը Prometheus-ով և Grafana-ով
Mastodon-ը տրամադրում է StatsD մետրիկաներ։ Նախքան Prometheus-ը կարողանա դրանք հավաքել և Grafana-ն՝ ցուցադրել, դրանք պետք է փոխակերպվեն։ Prometheus Community-ի Statsd-exporter-ը StatsD մետրիկաները վերածում է Prometheus մետրիկաների՝ կարգավորված mapping կանոններով։
Տեղադրեք Statsd-exporter Helm Chart-ը ձեր monitoring namespace-ում։
Ավելացրեք HelmRepository-ն.
apiVersion: source.toolkit.fluxcd.io/v1beta1
kind: HelmRepository
metadata:
name: prometheus-community
namespace: flux-system
spec:
interval: 5m0s
url: https://prometheus-community.github.io/helm-charts
Ավելացրեք HelmRelease-ը.
apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
name: prometheus-statsd-exporter
spec:
chart:
spec:
chart: prometheus-statsd-exporter
sourceRef:
kind: HelmRepository
name: prometheus-community
namespace: flux-system
version: 0.9.1
interval: 5m0s
releaseName: prometheus-statsd-exporter
valuesFrom:
- kind: ConfigMap
name: prometheus-statsd-exporter-values
valuesKey: prometheus-statsd-exporter-values.yaml
Արժեքներին հղվեք Kustomize-ով գեներացված ConfigMap-ից. այդպես մեր HelmRelease-ը կմնա կոկիկ և կարգավոր։
Մետրիկաները Statsd ձևաչափից Prometheus-ի կարդալու ձևաչափի փոխակերպելու համար անհրաժեշտ են mapping-ներ։ Ես հանդիպեցի Mastodon-ի մոնիթորինգի մասին իսկապես օգտակար հոդվածի։ Դրա հեղինակը [հրապարակում է իր mapping կոնֆիգուրացիան](https://ipng.ch/s/articles/2022/11/27/mastodon-3.html#:~:text=The Statsd Exporter mapping configuration file: [/etc/prometheus/statsd-mapping.yaml])՝ Grafana Dashboard-ի հետ միասին, որը գերազանց է կատարում իր գործը։
Mapping-ները դրեք values.yaml-ում.
serviceMonitor:
enabled: true
namespace: monitoring
endpoint: "/metrics"
statsd:
mappingConfig: |-
# add here mappings
Հիշեք Prometheus Statsd exporter սերվիսի անունը դնել Mastodon Helm Chart-ի արժեքներում՝ STATS_ADDR env-ի տակ։ Ներմուծեք ձեր dashboard-ը Grafana-ում, և պետք է կարողանաք վիճակագրություն հավաքել և հետևել ձեր ինստանսին։
Ամփոփում
Այս պահին ձեր Mastodon ինստանսը պետք է հաջողությամբ տեղափոխված լինի նվազագույն անհասանելիությամբ։ Այս Helm Chart-ին դեռ կարող են պետք լինել մի քանի pull request և ուղղում, բայց մխիթարական է, որ Bitnami-ի Github ռեպոզիտորիան լավ սպասարկվում է և կանոնավոր թարմացվում։ Զվարճացեք՝ ձեր Mastodon սերվերն առանց խոչընդոտների աշխատեցնելով։