Preview միջավայրեր Code review-ների համար, մաս 5. Տեղակայում Kubernetes կլաստերում
Այս գրառումը հոդվածաշարի հինգերորդ և վերջին մասն է, որը նվիրված է յուրաքանչյուր Code Review-ի համար առանձին Preview միջավայր կառուցելուն
Վերջին բացակայող մասը. Reverse-proxy-ի տեղակայումը Kubernetes-ում
Այս գրառումը հոդվածաշարի հինգերորդ և վերջին մասն է, որը նկարագրում է, թե ինչպես կառուցել առանձին Preview միջավայր յուրաքանչյուր Code Review-ի (Merge Request) համար։
Մենք արդեն ունենք CI pipeline, որը Reverse-proxy սերվերը հրապարակում է GCP Google Artifact Registry ծառայության պահոցում։
Դրա շնորհիվ Docker image-ը հասանելի է Kubernetes կլաստերից, որը ղեկավարում է հաճախորդ ընկերությունը։

Ինչպես տեսնում եք, մեզ դեռ պակասում է Continuous Deployment-ը հենց Kubernetes կլաստերի ներսում՝ Deployment, Service և Ingress մանիֆեստների հետ միասին։ Այս հոդվածը նվիրված է հենց այդ վերջին բացակայող մասին՝ Reverse-proxy-ի CD-ին Kubernetes-ում։
Kubernetes-ի կոնֆիգուրացիա
Սկսենք K8S-ի համար Reverse-proxy-ի կոնֆիգուրացիա ստեղծելուց, որը պետք է տեղադրվի կլաստերի կառավարման պահոցում (այն, որը Kubernetes կլաստերի յուրաքանչյուր նախագծի ենթակառուցվածքը նկարագրում է որպես IaC – Infrastructure as Code)։ Այն անհրաժեշտ է, որպեսզի նշենք, թե առանձին բաղադրիչները ինչպես պետք է վարվեն մեր պահանջները բավարարելու համար։
«Deployment» մանիֆեստը
Սկզբում մեզ պետք է հենց տեղակայման սահմանումը, որը կոնտեյների աշխատանքը պահում է ակտիվ։ :)
deployment.yml ֆայլը.
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: nice-app-staging-proxy
app.kubernetes.io/name: nice-app-staging-proxy
name: nice-app-staging-proxy
namespace: default
spec:
replicas: 1
selector:
matchLabels:
app: nice-app-staging-proxy
strategy: {}
template:
metadata:
labels:
app: nice-app-staging-proxy
spec:
containers:
- image: europe-west2-docker.pkg.dev/nice-app/nice-app/staging-reverse-proxy:5c48100-1666639074 # {"$imagepolicy": "flux-system:nice-app-staging-proxy"}
imagePullPolicy: Always
readinessProbe:
httpGet:
path: /
port: 80
livenessProbe:
httpGet:
path: /
port: 80
name: nice-app-staging-proxy
ports:
- containerPort: 80
name: http
imagePullSecrets:
- name: gcr-pull
status: {}
Ամենակարևորը՝ այստեղ մենք նշում ենք GCP GAR-ում հրապարակված Docker image-ը՝ իր վերջին tag-ով և մեկնաբանությամբ, որը Flux գործիքին ասում է, թե որտեղ պետք է կիրառել image-ի փոփոխությունները (այսպես կոչված image-policy)։ Fluxbot-ը այս tag-ը կթարմացնի ավտոմատ կերպով՝ commit անելով պահոց, երբ GCP GAR պահոցում հայտնվի image-ի նոր տարբերակ։
Ի դեպ, readinessProbe-ի և livenessProbe-ի URL-ները նույնպես պարտադիր են, որպեսզի ծառայությունը ճիշտ գործի։ Բոլոր label-ները և metadata-ն միավորված են որպես nice-app-staging-proxy։
«Service» մանիֆեստը
Այնուհետև պետք է սահմանենք «Service» մանիֆեստը, որը թույլ է տալիս կլաստերի ներսի մյուս ծառայություններին տեսնել Deployment-ի ստեղծած Pod-երը (տեսանելի՝ տեղային ցանցի իմաստով)։
service.yml ֆայլը.
apiVersion: v1
kind: Service
metadata:
name: nice-app-staging-proxy
namespace: default
labels:
app: nice-app-staging-proxy
spec:
type: ClusterIP
selector:
app: nice-app-staging-proxy
ports:
- name: http
protocol: TCP
port: 80
targetPort: http
status:
loadBalancer: {}
Այստեղ ևս metadata-ն միավորված է նույն nice-app-staging-proxy անվան տակ։ Ծառայության տեսակը ClusterIP է։ Նկատենք, որ մենք բացում ենք 80 պորտը որպես HTTP (առայժմ առանց գաղտնագրման, քանի որ ներքին տրաֆիկի համար գաղտնագրումն այստեղ պետք չէ)։
«Ingress» մանիֆեստը
Որպեսզի Service-ը դարձնենք դրսից հասանելի (անուղղակիորեն՝ հաջորդ բաղադրիչի՝ այսինքն LoadBalancer-ի միջոցով), մեզ պետք է մանիֆեստ, որը սահմանում է Ingress օբյեկտ։
ingress.yml ֆայլը.
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nice-app-staging-proxy
namespace: default
annotations:
kubernetes.io/ingress.class: nginx
cert-manager.io/cluster-issuer: letsencrypt-issuer
labels:
app: nice-app-staging-proxy
app.kubernetes.io/name: nice-app-staging-proxy
spec:
rules:
- host: "*.staging.nice-app.com"
http:
paths:
- backend:
service:
name: nice-app-staging-proxy
port:
number: 80
path: /
pathType: Prefix
tls:
- hosts:
- "*.staging.nice-app.com"
secretName: nice-app-staging-proxy-tls
status:
loadBalancer: {}
Կրկին միավորում ենք metadata-ն և նշում hosts-երն ու ենթադոմենները, որոնք LoadBalancer-ը պետք է ընդհատի՝ տրաֆիկն այս endpoint-ին ուղղորդելու համար։
LoadBalancer-ը Service-ի հետ շփվում է 80 պորտով, իսկ դրսի աշխարհից եկող հարցումների SSL գաղտնագրումը իր վրա է վերցնում հենց LoadBalancer-ը։
Այստեղ Let's encrypt Issuer-ը օգտագործվում է՝ SSL սերտիֆիկատներ թողարկելու համար ցանկացած հնարավոր ենթադոմենի համար։
SSL սերտիֆիկատներ wildcard ենթադոմենների համար
Փոքրիկ շեղում. Wildcard ենթադոմենների (with ) համար SSL սերտիֆիկատներ ստեղծելը պահանջում է DNS-01 իրականացում (հայտնի է որպես «DNS challenge»), այլ ոչ թե HTTP-01 (ավելի տեխնիկական մանրամասների համար տես այս գրառումը)։
DNS-01-ի իրականացումը բարդ թեմա է, ուստի այս հոդվածում չենք փորձի այն ընդգրկել. հոդվածաշարն առանց դրա էլ բավական երկար է։
Ուրեմն ի՞նչ է անում cert-manager-ը, երբ wildcard-ները չեն աջակցվում։ Այն ստեղծում է self-signed SSL սերտիֆիկատ, որը կարող է վստահելի չլինել, բայց, այնուամենայնիվ, թույլ է տալիս բացել Preview հավելվածի էջը։ Քանի որ էջը օգտագործում են Developer-ները, այլ ոչ թե վերջնական օգտատերերը, այս դեմոյում կարող ենք բաց թողնել DNS-01-ի իրականացումը։
K8S մանիֆեստների և GCP image-ի CD-ի կարգավորում
Երբ K8s-ում Reverse-proxy-ի նախնական կոնֆիգուրացիան պատրաստ է, կարող ենք անցնել հաջորդ քայլին և կիրառել այն կլաստերի ենթակառուցվածքը կառավարող պահոցում։
Դրա համար մեզ պետք է image-policy, որի անունը մենք արդեն նշել ենք deployment.yml ֆայլում, և image-repository, որը նշում է, թե որտեղ է գտնվում Docker image-ների պահոցը։
image-policy.yml ֆայլը.
apiVersion: image.toolkit.fluxcd.io/v1alpha2
kind: ImagePolicy
metadata:
name: nice-app-staging-proxy
namespace: flux-system
spec:
filterTags:
pattern: '^[a-fA-F0-9]+-(?P<ts>.*)'
extract: '$ts'
imageRepositoryRef:
name: nice-app-staging-proxy
policy:
numerical:
order: asc
Նկատենք, որ namespace-ն այստեղ տարբեր է. այն flux-system է, քանի որ սա ենթակառուցվածքի առանձին մաս է, որը նվիրված է Flux գործիքին։
Image policy կարգավորումը օգտագործում է regexp-ով արտահայտված ֆիլտր՝ միայն timestamp-ն առանձնացնելու համար. դրանք աճման կարգով դասավորելով՝ մենք իմանում ենք, թե Docker-ի որ image tag-ն է ամենանորը (ամենաբարձր timestamp-ը ցույց է տալիս ամենանոր image-ը)։
image-repository.yml ֆայլը.
apiVersion: image.toolkit.fluxcd.io/v1alpha2
kind: ImageRepository
metadata:
name: nice-app-staging-proxy
namespace: flux-system
spec:
image: europe-west2-docker.pkg.dev/nice-app/nice-app/staging-reverse-proxy
interval: 1m0s
secretRef:
name: gcr-pull
Պահոցի աղբյուրի մանիֆեստը շատ պարզ է և նույնպես օգտագործում է flux-system namespace-ը։
«Kustomize» մանիֆեստը
Վերջում այս բոլոր մանիֆեստները պետք է կապել իրար։ Ինչպես սկզբում նշվեց, CD-ն հենվում է նաև Kustomize գործիքի և Terraform-ի վրա։ Terraform-ը ակնկալում է նոր դիրեկտորիա, որի անունը նույնն է, ինչ մանիֆեստների metadata-ն (այսինքն՝ nice-app-staging-proxy), որտեղ այն փնտրում է kustomization.yml ֆայլը. այդ ֆայլը բեռնվում է և լրացնում է մանիֆեստի ֆայլերի ամբողջական ցանկը, որոնք գտնվում են նույն դիրեկտորիայում։
Այսպես է հենց այս ընկերությունը կառավարում իր K8s կլաստերը ենթակառուցվածքի կառավարման նախագծի պահոցում։ Այլ ընկերություններ կամ նախագծեր կարող են այլ կերպ մոտենալ, բայց այստեղ մենք հետևեցինք նրանց լուծման մեջ արդեն սահմանված դիրեկտորիաների և ֆայլերի կառուցվածքին։
Ահա թե ինչու վերջում մեզ պետք է kustomisation.yml ֆայլ, որը ամեն ինչ կապում է իրար.
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
commonLabels:
app: nice-app-staging-proxy
resources:
- deployment.yml
- service.yml
- ingress.yml
- image-policy.yml
- image-repository.yml
Նոր դիրեկտորիայում ստեղծված յուրաքանչյուր մանիֆեստ ֆայլ commit է արվում պահոց, որպեսզի կատարվի GitHub Actions-ի տարբեր build-ների ժամանակ։
Reverse-proxy նախագծի Nginx սերվերի կոնֆիգուրացիայի ճշգրտումը Kubernetes կլաստերի համար
nginx.conf ֆայլում Nginx սերվերի նախորդ փորձնական կարգավորման ժամանակ մենք հենվում էինք DNS resolver-ի IP հասցեի վրա, որը տեղային հասանելի է համակարգչի Docker տեղադրման մեջ։
resolver 192.168.65.5; # docker localhost DNS resolver
Սակայն Kubernetes-ում այլ պատմություն է. այնտեղ DNS resolver-ը կարող է լինել, կարող է ընդհանրապես չլինել, կամ դրա հասանելիությունը կարող է խիստ սահմանափակ լինել։ Մեր Nice-App դեպքում այդպիսի DNS resolver մեր տրամադրության տակ չկար։ Ուստի ընտրեցինք հանրությանը հասանելի DNS resolver-ներից մեկի IP հասցեն (այստեղ՝ Google-ի Public DNS)։
resolver 8.8.8.8 valid=10s ipv6=off; # public Google DNS resolver
Բնականաբար, ցանկին կարելի է ավելացնել ավելի շատ սերվերներ՝ տրամադրելով IP հասցեների զանգված, բայց դեմոյի համար մենք մնացինք մեկի վրա։ Ինչպես տեսնում եք, այստեղ սահմանված են երկու լրացուցիչ ընտրանք.
valid=10s-ը IP հասցեի timeout-ը երկարացնում է մինչև 10 վայրկյան. սա մեզ պետք է, քանի որ հանրային սերվերը երբեմն կարող է անհասանելի լինել, սպասարկման մեջ լինել, ցանցային ուշացումներ ունենալ և այլն։ipv6=off-ը անջատում է IPv6-ը resolver-ի հետ շփման համար, ինչը կրճատում է հարցումների մշակման ժամանակը, քանի որ մեր staging միջավայրին IPv6 պետք չէ
Երբ resolver-ի IP հասցեն պարունակող կոդի յուրաքանչյուր տող թարմացվեց, nginx.conf ֆայլն ունի հետևյալ տեսքը.
server_names_hash_bucket_size 64;
server {
listen 80;
server_name ~(.*)\.staging\.nice-app\.com$;
set $subdomain $1;
set $destination_domain 'nice-app-staging.s3-website.eu-central-1.amazonaws.com';
location ~* (.*\.[A-Za-z]+)$ {
resolver 8.8.8.8 valid=10s ipv6=off; # public Google DNS resolver
set_escape_uri $escaped_uri $uri; # OpenResty Nginx module https://github.com/openresty/set-misc-nginx-module#set_escape_uri
proxy_pass http://$destination_domain/$subdomain$escaped_uri$is_args$args;
}
location / {
resolver 8.8.8.8 valid=10s ipv6=off;
# adding a trailing slash to the end of URL if it does not exist (needed for proxy_pass to open AWS S3 directory, then to search for index.html inside)
rewrite (.*[^\/])$ $1/ break;
proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
}
}
Այս փոփոխությունները պետք է commit արվեն GitHub պահոց, որպեսզի Nginx-ի թարմացված կոնֆիգուրացիա պարունակող թարմ Docker image-ը ավտոմատ կերպով push արվի GCP GAR պահոց. սա իր հերթին Flux գործիքին ստիպում է image-ի նոր տարբերակը commit անել ընկերության կլաստերի կառավարման պահոց՝ գործարկելով վերատեղակայում K8s կլաստերում։
Լուծման թեստավորում
Կեցցե՛ք։ Մենք հասել ենք այս երկար ճանապարհորդության վերջնագծին։ Ժամանակն է թեստավորել լուծումը։ Մի եղանակ է cURL գործիքի օգտագործումը. GitLab-ում Merge Request-ի համար Preview միջավայրի նախկինում ստեղծած URL-ի համար այն պետք է վերադարձնի Nice-App հավելվածի HTML կոդը։
$ curl https://a4f194667b4fa23.staging.nice-app.com/
<html>
<head><title>Nice-app application</title></head>
<body>
<center>Hello!</center>
</body>
</html>
Այս թեստի համար տեղային համակարգչի Docker daemon-ն անջատված էր, և վերը նշված URL-ի վերահասցեավորումը մենք արդեն ջնջել էինք /etc/hosts ֆայլից։ Սա նշանակում է, որ AWS Route 53-ի DNS-ը կատարեց իր գործը՝ մեզ ուղարկելով Kubernetes կլաստերի LoadBalancer, որտեղ Reverse-proxy սերվերն իր հերթին հարցում արեց staging Bucket-ի ենթադիրեկտորիային։
Ամփոփում
Ճանապարհը բարդ էր (5 բլոգային գրառում), բայց, ինչպես տեսնում եք, այն Developer-ի ուժերի սահմաններում է (եթե նախապես, մինչ որևէ բան իրականացնելը, կարդաք փաստաթղթերը և մտածեք խնդրի շուրջ)։
Ճանապարհին մենք որոշ լուծումներ գտանք ուսումնասիրելով (օրինակ՝ Nginx սերվերի կոնֆիգուրացիայում proxy_pass-ի սխալները, որոնք պայմանավորված են AWS S3-ում bucket-ի հոստինգի աշխատանքի առանձնահատուկ ձևով)։ Հուսով եմ՝ հետաքրքիր ընթերցանություն էր։
Ավելին՝ մեզ հաջողվեց մնալ սկզբում դրված ենթադրությունների սահմաններում, երբ հաճախորդն ուզում էր հենվել իր արդեն սպասարկվող ենթակառուցվածքի մասերի վրա։
Այլընտրանքային մոտեցումներ
Preview միջավայրեր Code Review-ի համար կառուցելու բազմաթիվ տարբեր եղանակներ կան։ Այնպես որ գիտակցում եմ, որ այս հոդվածաշարում ներկայացված մոտեցումը կարող է լավագույնը չլինել։
Հրավիրում եմ ձեզ, հարգելի ընթերցող, մեկնաբանություններում կիսվել հղումներով՝ Preview միջավայրերի կառուցման այլ օրինակների մասին։ Սա անշուշտ կընդլայնի նրանց գիտելիքները, ովքեր, գուցե բյուջեի կամ իրավական սահմանափակումների պատճառով, չեն կարող կառուցել Preview-ն վերը նկարագրված ձևով։
Nginx-ի կոնֆիգուրացիայի շատ խորը փորձառություն ունեցող մարդիկ նույնպես, հավանաբար, կունենան հետաքրքիր ավելացնելու բան։
Քանի որ հասել եք հոդվածի այս կետին, նախապես շնորհակալություն համբերության և ամբողջ հոդվածաշարը կարդալու համար։ Մինչև հաջորդ անգամ։