Preview միջավայրեր կոդի վերանայման համար, մաս 3. Reverse-proxy-ի կարգավորումը
Preview միջավայրերի շարքի երրորդ հոդվածը հասավ։ Այս անգամ կենտրոնանում ենք Reverse-proxy սերվերի կարգավորման և իրականացման վրա, որն անհրաժեշտ է AWS S3 bucket-ի ենթածիրերի և ենթացուցակների միջև տվյալները երթուղավորելու համար։
Նախքան սկսելը
Այս հոդվածը հոդվածաշարի երրորդ մասն է, որտեղ նկարագրում ենք, թե ինչպես ստեղծել առանձին Preview միջավայր յուրաքանչյուր Code Review-ի (Merge Request-ի) համար։
Մինչ այժմ մենք իրականացրել ենք GitLab CI/CD pipeline-ներ, որոնք ամպում ստեղծում և փակում են Preview միջավայրերը։
Այս անգամ ուշադրության կենտրոնում Reverse-proxy սերվերի կարգավորումն ու իրականացումն է, որն անհրաժեշտ է ենթածիրերի և AWS S3 bucket-ի ենթացուցակների միջև տվյալները երթուղավորելու համար։
Reverse-proxy սերվերի գործարկումը տեղային մեքենայում
Մեր առաջին նպատակը տեղային փորձարկումն է Docker կոնտեյներում, քանի որ դա հնարավոր է առանց K8S կլաստերի հետ բարդ ինտեգրման, որը, բնականաբար, կնկարագրենք հաջորդ հոդվածներում։
Այսպես աշխատելով՝ կարող ենք կենտրոնանալ հենց Reverse-proxy-ի կարգավորման վրա և համոզվել, որ բոլոր խնդիրները լուծված են կլաստերում տեղակայելուց առաջ՝ առայժմ չմտածելով K8S manifest-ների մասին։

Սերվերի իրականացման ընտրությունը
Նախ մտածենք՝ արդյոք մեզ պետք է հատուկ պատրաստված, զրոյից գրված (օրինակ՝ Scala-ով կամ Java-ով) սերվեր, թե պատրաստի լուծումն ավելի լավ տարբերակ է։
Օգտագործման դեպքի տեսանկյունից Reverse-proxy սերվերի խնդիրը բավական տիպային է (այն անընդհատ հանդիպում է վեբ հավելվածների նախագծերում), ուստի սեփական սերվեր գրելու իմաստ չկա։ Փոխարենը կարող ենք օգտվել պատրաստի լուծումից, որը բաց կոդով համայնքը կատարելագործում է տարիներ շարունակ, և որը նաև լավ օպտիմալացված է ու անվտանգության տեսանկյունից հուսալի գրված։
Հասանելի տարբերակներն ըստ 2022 թվականի լավագույն վեբ սերվերների վարկանիշի՝
- Apache httpd
- Nginx
- Lighttpd
- Caddy
- և շատ ուրիշներ…
Եզրակացրինք, որ մեր կարիքների համար տրամաբանական է դիտարկել երկու ամենահայտնի և լայնորեն կիրառվող տարբերակները՝ Apache httpd և Nginx։
Մեր Use Case-ը պարզ է. մեզ պետք է Reverse-proxy, որը զտում է wildcard ենթածիրերը։ Այստեղ Apache httpd-ին ավելի շատ կոնֆիգուրացիոն ֆայլեր են պետք, քան Nginx-ին, որն այս առումով ավելի կոմպակտ է (և շատ ավելի հաճելի՝ կարգավորելու համար)։ Բացի այդ, Nginx-ը Kubernetes կլաստերներում մի տեսակ ստանդարտ է, ուստի համահունչությունը նույնպես նրա օգտին է խոսում։ Ի վերջո ընտրեցինք Nginx-ը։
Եթե ցանկանում եք ճշգրիտ իմանալ, թե ինչպես են երկու սերվերները տարբերվում արտադրողականությամբ, կարդացեք այդ մասին գրված անթիվ բլոգային հոդվածներից որևէ մեկը, օրինակ՝ Apache vs. Nginx։
Սերվերի սկզբնական (տեղային) կարգավորումը
Ի վերջո Nginx սերվերը պետք է աշխատի k8s-ի Pod-ի մեջ գտնվող կոնտեյների ներսում, ուստի մեր սկզբնակետը Docker-ի Dockerfile-ն է՝
FROM nginx:1.23.1
# custom configuration
COPY ./nginx.conf /etc/nginx/conf.d/default.conf
Այստեղ վերցնում ենք Docker-ի պաշտոնական Nginx պատկերի 1.23.1 տարբերակը և ընդլայնում այն հատուկ կոնֆիգուրացիայով, որտեղ կսահմանվի proxy-ն։
Ահա թե ինչ տեսք ունի nginx.conf կոնֆիգուրացիոն ֆայլը՝
server_names_hash_bucket_size 64;
server {
listen 80;
server_name ~(.*)\.staging\.nice-app\.com$;
set $subdomain $1;
set $destination_domain 'nice-app-staging.s3-website.eu-central-1.amazonaws.com';
location / {
resolver 192.168.65.5; # docker localhost DNS resolver
proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
}
}
Սկսում ենք server_names_hash_bucket_size 64;-ից, քանի որ ենթածիրում տեղադրվող հեշ անունները կարող են երկար լինել։ Լռելյայն արժեքը կապված է պրոցեսորի քեշի հետ (սովորաբար 32), բայց մենք այն մեծացրինք նախազգուշության համար, որպեսզի ավելի երկար ենթածիրերը խնդիրներ չառաջացնեն։
Հաջորդը հայտարարում ենք նոր սերվեր, որը լսում է port 80-ը և ընդունում է (.*)staging.nice-app.com$ regexp-ին համապատասխանող ենթածիրերը։ Հենց հեշը կորզվում է ենթածիրից և պահվում $subdomain փոփոխականում։
Բացի այդ, արդեն սահմանված է նպատակակետ ծիրը՝ այն է՝ AWS S3-ում staging bucket-ի URL-ը, որը ստացել էինք ավելի վաղ։
Յուրաքանչյուր location / ուղու համար տրաֆիկը փոխանցվում է URL-ի, որը կազմվում է վերը նշված փոփոխականներից և Nginx-ի ներկառուցված փոփոխականներից (օրինակ՝ $uri՝ ծիրից հետո եկող տեքստը, ներառյալ URL-ում HTTP GET արգումենտները)։
Արդյունքում ստանում ենք հետևյալ բանաձևը՝ «http://$destination_domain/$subdomain$uri$is_args$args», որը ցույց է տալիս AWS S3 bucket-ի ենթացուցակը։
Նաև սահմանում ենք DNS resolver 192.168.65.5 IP հասցեով, որը հասանելի է տեղային Docker daemon-ի միջավայրում։ Ինչո՞ւ է այն պետք։ Որովհետև փոփոխականներ ենք դնում Nginx-ի proxy_pass հրահանգի մեջ։ Այդ դեպքում Nginx-ը օգտագործում է բոլորովին այլ proxy մեխանիզմ, քան ոչ դինամիկ URL-ի համար (այսինքն՝ փոփոխականներ չպարունակող սովորական ստատիկ տեքստի)։ Այս խնդիրը հանդիպում է StackOverflow-ի բազմաթիվ քննարկումներում։
Հիշեք, որ այս հասցեն կարող է տարբերվել մեքենաների, օպերացիոն համակարգերի և Docker-ի տարբերակների միջև։ Ուստի արժե նախապես ստուգել, թե որ IP հասցեն է կիրառվում ձեր տեղային միջավայրում (չենք բացատրի, թե ինչպես, քանի որ դա անելու բազմաթիվ ուղիներ կան, և դրանք տարբերվում են Docker-ի տարբերակների միջև)։
Տեղային փորձարկմանը պատրաստվելը
Երբ Dockerfile-ը և հատուկ կոնֆիգուրացիայով nginx.conf ֆայլը պատրաստ են, կարող ենք սկսել պատրաստվել թեստերին։
Նախ՝ հավելվածի ֆայլերը պետք է լինեն staging bucket-ում։ Դրա համար հավելվածի Git repository-ում ստեղծում ենք նոր branch և դրանով GitLab-ում բացում Merge Request, որը կգործարկի տեղակայումը (նախորդ հոդվածում կառուցված CI/CD pipeline-ի միջոցով)։
$ git checkout -b feature/test-MR
Switched to a new branch 'feature/test-MR'
$ "test" > TEST.md
$ git add .
$ git commit -m "testing MR deployment"
[feature/test-MR (root-commit) 8266b1c] testing MR deployment
1 files changed, 0 insertions(+), 0 deletions(-)
create mode 100644 TEST.md
$ git push --set-upstream origin feature/test-MR
Ֆայլը ավելացվել էր զուտ փորձարկման համար, որպեսզի MR ստեղծելուց հետո GitLab-ը գործարկի pipeline-ը, որը AWS բեռնում է նոր ենթածիրն ու ֆայլերը։
Դրանից հետո GitLab-ում ձեռքով բացեցինք նոր Merge Request, որի source-ը feature/test-MR branch-ն է, իսկ target-ը՝ main branch-ը։
Pipeline-ի build-and-deploy-staging-for-review job-ը ստեղծեց հետևյալ URL-ը՝ «http://a4f194667b4fa23.staging.nice-app.com/», որտեղ a4f194667b4fa23-ը commit-ի հեշն է, որը ծառայում է և՛ որպես ենթածիր, և՛ որպես ենթացուցակ AWS S3 staging bucket-ում։
Երբ ֆայլերն ու հեշը պատրաստ են, կարող ենք օգտվել օպերացիոն համակարգի հնարավորությունից, որը թույլ է տալիս տեղային միջավայրում ծիրը կապել IP հասցեին։

Այս կարգավորումը գտնվում է /etc/hosts (Linux/Mac) կամ c:\Windows\System32\Drivers\etc\hosts (Windows) ֆայլում։ Բացեք այն ադմինիստրատորի իրավունքներով, ավելացրեք ստորև նշված տողը և պահպանեք փոփոխությունները՝
127.0.0.1 a4f194667b4fa23.staging.nice-app.com
Արդյունքում «http://a4f194667b4fa23.staging.nice-app.com» URL-ի համար օպերացիոն համակարգը մեզ կուղարկի 127.0.0.1 IP հասցեին, այսինքն՝ localhost-ին, որտեղ կաշխատի Docker daemon-ը մի քանի պարբերություն առաջ սահմանված Nginx docker պատկերով։
Այս հնարքի շնորհիվ կարող ենք Reverse-proxy սերվերը փորձարկել և վրիպազերծել տեղային մեքենայում՝ առանց «nice-app.com» DNS գոտու համար AWS Route 53-ի վրա հենվելու։
Թեստերի գործարկումը տեղային մեքենայում
Հաջորդը անցեք Reverse-proxy սերվերի ֆայլերը պարունակող առանձին նախագծի պանակ (այստեղ ցուցակագրում ենք դրանք՝ ցույց տալու համար, թե որ ֆայլերն են պատճենվել այնտեղ)։
$ cd /home/nice-app-developer/projects/staging-reverse-proxy
$ ls
Dockerfile nginx.conf
Այս պահին կարող ենք գործարկել Docker կոնտեյներ այդ ֆայլերից կառուցված պատկերից (համոզվեք, որ Docker-ը տեղադրված է, իսկ Docker daemon-ը՝ աշխատում)։
$ docker build -t reverse-proxy .
$ docker run -it --rm -d -p 80:80 --name reverse-proxy-server reverse-proxy
Այժմ պետք է կարողանանք հարցում ուղարկել սերվերին նախկինում հայտարարված ենթածիրի միջոցով։ Պատասխանում պետք է ստանանք այն հավելվածի HTML կոդը, որի ֆայլերը (այդ թվում՝ index.html-ը) բեռնվել են AWS S3։ Ստորև բերված բովանդակությունը պարզապես օրինակ է, պատրաստված այնպես, որ այստեղ չանդրադառնանք հենց հավելվածին, այլ ցույց տանք, թե ինչպիսի տեսք կարող է ունենալ սերվերի նման պատասխանը։
$ curl http://a4f194667b4fa23.staging.nice-app.com/
<html>
<head><title>Nice-app application</title></head>
<body>
<center>Hello!</center>
</body>
</html>
AWS S3 bucket-ից hosting-ի խնդիրները
Շատ լավ։ Nginx սերվերի Reverse-proxy մեխանիզմն անցավ մեր թեստերը։ Այնուամենայնիվ հիշեք, որ սա ընդամենը ճանապարհի սկիզբն է, քանի որ AWS S3 bucket-ների URL-ներն ունեն վարքագծի իրենց առանձնահատուկ օրինաչափությունները և իրենց խնդիրները, որոնք նկարագրված են ստորև։
Խնդիր 1. Ինչպես է hosting-ը մշակում ավարտող slash-ով URL-ները
AWS S3 bucket-ում պահվող ֆայլերի hosting-ը աշխատում է այսպես. երբ URL-ն ավարտվում է slash-ով / (այսպես կոչված «trailing slash»), hosting սերվերը նախ այդ ուղու տակ փնտրում է ցուցակ, ապա նրա ներսում՝ index.html ֆայլ, որի պարունակությունը վերադարձնում է պատասխանում։
Այսպես՝ «nice-app-staging.s3-website.eu-central-1.amazonaws.com/some-directory/» URL-ի համար ստանում եք some-directory/index.html ֆայլի պարունակությունը։ Եթե այդպիսի ֆայլ չկա, ցուցադրվում է 404 սխալի էջ (տես ստորև նկարը)։
Այլ է իրավիճակը, երբ URL-ը չունի ավարտող slash։ Այդ դեպքում AWS S3 hosting-ը ստուգում է՝ արդյոք գոյություն ունի some-directory անունով (առանց ընդլայնման) ֆայլ՝ լիովին անտեսելով այն հնարավորությունը, որ դա ցուցակ է, այլ ոչ թե ֆայլ։ Այսպիսով, նույնիսկ երբ some-directory ենթացուցակը պարունակում է index.html ֆայլ, էջը դարձյալ ճիշտ չի ցուցադրվի (օրինակը՝ ստորև)։
Մեր ներկայիս Nginx կոնֆիգուրացիայի դեպքում proxy_pass ֆունկցիան յուրաքանչյուր URL-ը (թե՛ ավարտող slash-ով, թե՛ առանց դրա) փոխանցում է AWS S3 hosting-ին, ուստի ավարտող slash-ից զուրկ URL-ների համար կարող ենք իրական հավելվածի էջի (HTML ֆայլի պարունակության) փոխարեն ստանալ 404 սխալի էջեր։
Լուծում
Սա կարող ենք շտկել rewrite ֆունկցիայով, որը ավարտող slash-ից զուրկ յուրաքանչյուր URL-ը վերահասցեավորում է նույն URL-ին՝ slash-ը կցելով վերջում։
rewrite (.*[^\/])$ $1/ break;
Խնդիր 2. Ակտիվների (օրինակ՝ jpg, png, css, js և այլն) առանց slash-ի URL-ների վերահասցեավորումը
Ավարտող slash-ի խնդիրը շտկված է, բայց դրա դիմաց այլևս չենք կարողանում հասնել ակտիվների ֆայլերին։ Նոր ավելացված rewrite հրահանգը այժմ slash է կցում *.jpg նման ֆայլերին, ինչը AWS S3-ին ստիպում է index.html ֆայլ փնտրել այն ցուցակի ներսում, որի անունն ավարտվում է .jpg/-ով։
Լուծում
Ամենապարզ ելքը URL ուղիների երթուղավորումը երկու օրինաչափության բաժանելն է. մեկը մշակում է առանց ավարտող slash-ի ֆայլերը, մյուսը՝ ավարտող slash ունեցող ենթաէջերի URL-ները։
location ~* (.*\.[A-Za-z]+)$ { # all files with extension
resolver 192.168.65.5;
proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
}
location / {
resolver 192.168.65.5; # docker localhost DNS resolver
# adding a trailing slash to the end of URL if it does not exist (needed for proxy_pass to open AWS S3 directory, then to search for index.html inside)
rewrite (.*[^\/])$ $1/ break;
proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
}
Ինչպես երևում է վերևի կոդից, լրացուցիչ location ~* (.*[A-Za-z]+)$ օրինակը համընկնում է ընդլայնում ունեցող ֆայլերին մատնանշող այն URL-ների հետ, որոնք չեն ավարտվում slash-ով, և դրանք փոխանցում է առանց որևէ rewrite հրահանգի։
Խնդիր 3. Nginx-ը URL-ները փոխանցում է վերծանված տեսքով
Ֆայլերը ևս մեկ խնդիր են առաջացնում. նրանց անունները կարող են պարունակել բացատներ և այլ հատուկ նիշեր։ Ցավոք, երբ օգտագործվում է $uri փոփոխականը, Nginx-ը լռելյայն արդեն կոդավորված URL-ները նորից վերածում է վերծանված տեսքի, և հենց դա է փոխանցվում proxy_pass ֆունկցիային։
Այս կարգավորումը կաշխատեր առանց խնդիրների, եթե AWS S3-ը բավարարվեր այդպիսի վերծանված URL-ներով։ Ինչպես կարող եք կռահել, ծառայությունը դրանք չի ընդունում։
Բացատներ պարունակող անունով ֆայլի համար, օրինակ՝ file with space.png, AWS S3 hosting-ը կցուցադրի սխալ, որ ֆայլը չի կարողացել գտնել։
Մյուս կողմից, հարցվող պատկերը կգտնվի, երբ օգտագործենք կոդավորված URL, օրինակ՝ file%20with%20space.png (որտեղ %20-ը կոդավորված բացատն է)։
Լուծում
Լուծումը Nginx-ի՝ մշակման համար վերծանած URL-ի հատվածը նորից կոդավորելն է։ Քանի որ հենց ֆունկցիան բավական բարդ է, ընտրեցինք Nginx սերվերի ընդլայնում, որն այն տրամադրում է։ Ընդլայնումը կոչվում է «OpenResty», իսկ մեզ պետք ֆունկցիան set_escape_uri-ն է։
Որպեսզի ժամանակ չվատնենք ընդլայնումը Dockerfile-ի լրացուցիչ տողերով տեղադրելու վրա, այս ցուցադրության համար ընտրեցինք Nginx docker պատկեր, որի մեջ անհրաժեշտ ընդլայնումն արդեն տեղադրված է։
Այժմ Dockerfile-ն այսպիսի տեսք ունի՝
FROM openresty/openresty:1.21.4.1-3-buster-fat
# custom configuration
COPY ./nginx.conf /etc/nginx/conf.d/default.conf
Իսկ ահա nginx.conf կոնֆիգուրացիան ամբողջությամբ՝
server_names_hash_bucket_size 64;
server {
listen 80;
server_name ~(.*)\.staging\.nice-app\.com$;
set $subdomain $1;
set $destination_domain 'nice-app-staging.s3-website.eu-central-1.amazonaws.com';
location ~* (.*\.[A-Za-z]+)$ {
resolver 192.168.65.5;
set_escape_uri $escaped_uri $uri; # OpenResty Nginx module https://github.com/openresty/set-misc-nginx-module#set_escape_uri
proxy_pass http://$destination_domain/$subdomain$escaped_uri$is_args$args;
}
location / {
resolver 192.168.65.5; # docker localhost DNS resolver
# adding a trailing slash to the end of URL if it does not exist (needed for proxy_pass to open AWS S3 directory, then to search for index.html inside)
rewrite (.*[^\/])$ $1/ break;
proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
}
}
Համառոտ ամփոփում
Ընտրեցինք սերվերի իրականացում, կազմեցինք (Reverse-proxy-ի) կոնֆիգուրացիա և լուծեցինք AWS S3 hosting-ում URL-ների աշխատանքից բխող խնդիրները։ Ամբողջը փորձարկեցինք նաև տեղային միջավայրում՝ Docker-ով։ Սակայն մեզ դեռ պակասում է ամպում տեղակայումը, որը սերվերը հասանելի կդարձնի հաճախորդ ընկերության Kubernetes կլաստերին։
