Գնահատել նախագիծը
← Բոլոր հրապարակումները

Preview միջավայրեր կոդի վերանայման համար, մաս 3. Reverse-proxy-ի կարգավորումը

Preview միջավայրերի շարքի երրորդ հոդվածը հասավ։ Այս անգամ կենտրոնանում ենք Reverse-proxy սերվերի կարգավորման և իրականացման վրա, որն անհրաժեշտ է AWS S3 bucket-ի ենթածիրերի և ենթացուցակների միջև տվյալները երթուղավորելու համար։

10 րոպե
DevOpsԿոդի վերանայումAWSApacheNginxKubernetesԱմպ

Նախքան սկսելը

Այս հոդվածը հոդվածաշարի երրորդ մասն է, որտեղ նկարագրում ենք, թե ինչպես ստեղծել առանձին Preview միջավայր յուրաքանչյուր Code Review-ի (Merge Request-ի) համար։

Մինչ այժմ մենք իրականացրել ենք GitLab CI/CD pipeline-ներ, որոնք ամպում ստեղծում և փակում են Preview միջավայրերը։

Այս անգամ ուշադրության կենտրոնում Reverse-proxy սերվերի կարգավորումն ու իրականացումն է, որն անհրաժեշտ է ենթածիրերի և AWS S3 bucket-ի ենթացուցակների միջև տվյալները երթուղավորելու համար։

Reverse-proxy սերվերի գործարկումը տեղային մեքենայում

Մեր առաջին նպատակը տեղային փորձարկումն է Docker կոնտեյներում, քանի որ դա հնարավոր է առանց K8S կլաստերի հետ բարդ ինտեգրման, որը, բնականաբար, կնկարագրենք հաջորդ հոդվածներում։

Այսպես աշխատելով՝ կարող ենք կենտրոնանալ հենց Reverse-proxy-ի կարգավորման վրա և համոզվել, որ բոլոր խնդիրները լուծված են կլաստերում տեղակայելուց առաջ՝ առայժմ չմտածելով K8S manifest-ների մասին։

1

Սերվերի իրականացման ընտրությունը

Նախ մտածենք՝ արդյոք մեզ պետք է հատուկ պատրաստված, զրոյից գրված (օրինակ՝ Scala-ով կամ Java-ով) սերվեր, թե պատրաստի լուծումն ավելի լավ տարբերակ է։

Օգտագործման դեպքի տեսանկյունից Reverse-proxy սերվերի խնդիրը բավական տիպային է (այն անընդհատ հանդիպում է վեբ հավելվածների նախագծերում), ուստի սեփական սերվեր գրելու իմաստ չկա։ Փոխարենը կարող ենք օգտվել պատրաստի լուծումից, որը բաց կոդով համայնքը կատարելագործում է տարիներ շարունակ, և որը նաև լավ օպտիմալացված է ու անվտանգության տեսանկյունից հուսալի գրված։

Հասանելի տարբերակներն ըստ 2022 թվականի լավագույն վեբ սերվերների վարկանիշի՝

Եզրակացրինք, որ մեր կարիքների համար տրամաբանական է դիտարկել երկու ամենահայտնի և լայնորեն կիրառվող տարբերակները՝ Apache httpd և Nginx։

Մեր Use Case-ը պարզ է. մեզ պետք է Reverse-proxy, որը զտում է wildcard ենթածիրերը։ Այստեղ Apache httpd-ին ավելի շատ կոնֆիգուրացիոն ֆայլեր են պետք, քան Nginx-ին, որն այս առումով ավելի կոմպակտ է (և շատ ավելի հաճելի՝ կարգավորելու համար)։ Բացի այդ, Nginx-ը Kubernetes կլաստերներում մի տեսակ ստանդարտ է, ուստի համահունչությունը նույնպես նրա օգտին է խոսում։ Ի վերջո ընտրեցինք Nginx-ը։

Եթե ցանկանում եք ճշգրիտ իմանալ, թե ինչպես են երկու սերվերները տարբերվում արտադրողականությամբ, կարդացեք այդ մասին գրված անթիվ բլոգային հոդվածներից որևէ մեկը, օրինակ՝ Apache vs. Nginx։

Սերվերի սկզբնական (տեղային) կարգավորումը

Ի վերջո Nginx սերվերը պետք է աշխատի k8s-ի Pod-ի մեջ գտնվող կոնտեյների ներսում, ուստի մեր սկզբնակետը Docker-ի Dockerfile-ն է՝

FROM nginx:1.23.1

# custom configuration
COPY ./nginx.conf /etc/nginx/conf.d/default.conf

Այստեղ վերցնում ենք Docker-ի պաշտոնական Nginx պատկերի 1.23.1 տարբերակը և ընդլայնում այն հատուկ կոնֆիգուրացիայով, որտեղ կսահմանվի proxy-ն։

Ահա թե ինչ տեսք ունի nginx.conf կոնֆիգուրացիոն ֆայլը՝

server_names_hash_bucket_size 64;

server {
    listen 80;

    server_name ~(.*)\.staging\.nice-app\.com$;
    set $subdomain $1;
    set $destination_domain 'nice-app-staging.s3-website.eu-central-1.amazonaws.com';

    location / {
        resolver 192.168.65.5; # docker localhost DNS resolver
        proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
    }
}

Սկսում ենք server_names_hash_bucket_size 64;-ից, քանի որ ենթածիրում տեղադրվող հեշ անունները կարող են երկար լինել։ Լռելյայն արժեքը կապված է պրոցեսորի քեշի հետ (սովորաբար 32), բայց մենք այն մեծացրինք նախազգուշության համար, որպեսզի ավելի երկար ենթածիրերը խնդիրներ չառաջացնեն։

Հաջորդը հայտարարում ենք նոր սերվեր, որը լսում է port 80-ը և ընդունում է (.*)staging.nice-app.com$ regexp-ին համապատասխանող ենթածիրերը։ Հենց հեշը կորզվում է ենթածիրից և պահվում $subdomain փոփոխականում։

Բացի այդ, արդեն սահմանված է նպատակակետ ծիրը՝ այն է՝ AWS S3-ում staging bucket-ի URL-ը, որը ստացել էինք ավելի վաղ։

Յուրաքանչյուր location / ուղու համար տրաֆիկը փոխանցվում է URL-ի, որը կազմվում է վերը նշված փոփոխականներից և Nginx-ի ներկառուցված փոփոխականներից (օրինակ՝ $uri՝ ծիրից հետո եկող տեքստը, ներառյալ URL-ում HTTP GET արգումենտները)։
Արդյունքում ստանում ենք հետևյալ բանաձևը՝ «http://$destination_domain/$subdomain$uri$is_args$args», որը ցույց է տալիս AWS S3 bucket-ի ենթացուցակը։

Նաև սահմանում ենք DNS resolver 192.168.65.5 IP հասցեով, որը հասանելի է տեղային Docker daemon-ի միջավայրում։ Ինչո՞ւ է այն պետք։ Որովհետև փոփոխականներ ենք դնում Nginx-ի proxy_pass հրահանգի մեջ։ Այդ դեպքում Nginx-ը օգտագործում է բոլորովին այլ proxy մեխանիզմ, քան ոչ դինամիկ URL-ի համար (այսինքն՝ փոփոխականներ չպարունակող սովորական ստատիկ տեքստի)։ Այս խնդիրը հանդիպում է StackOverflow-ի բազմաթիվ քննարկումներում։

Հիշեք, որ այս հասցեն կարող է տարբերվել մեքենաների, օպերացիոն համակարգերի և Docker-ի տարբերակների միջև։ Ուստի արժե նախապես ստուգել, թե որ IP հասցեն է կիրառվում ձեր տեղային միջավայրում (չենք բացատրի, թե ինչպես, քանի որ դա անելու բազմաթիվ ուղիներ կան, և դրանք տարբերվում են Docker-ի տարբերակների միջև)։

Տեղային փորձարկմանը պատրաստվելը

Երբ Dockerfile-ը և հատուկ կոնֆիգուրացիայով nginx.conf ֆայլը պատրաստ են, կարող ենք սկսել պատրաստվել թեստերին։

Նախ՝ հավելվածի ֆայլերը պետք է լինեն staging bucket-ում։ Դրա համար հավելվածի Git repository-ում ստեղծում ենք նոր branch և դրանով GitLab-ում բացում Merge Request, որը կգործարկի տեղակայումը (նախորդ հոդվածում կառուցված CI/CD pipeline-ի միջոցով)։

$ git checkout -b feature/test-MR
Switched to a new branch 'feature/test-MR'
$ "test" > TEST.md
$ git add .
$ git commit -m "testing MR deployment"

[feature/test-MR (root-commit) 8266b1c] testing MR deployment
 1 files changed, 0 insertions(+), 0 deletions(-)
 create mode 100644 TEST.md
$ git push --set-upstream origin feature/test-MR

Ֆայլը ավելացվել էր զուտ փորձարկման համար, որպեսզի MR ստեղծելուց հետո GitLab-ը գործարկի pipeline-ը, որը AWS բեռնում է նոր ենթածիրն ու ֆայլերը։

Դրանից հետո GitLab-ում ձեռքով բացեցինք նոր Merge Request, որի source-ը feature/test-MR branch-ն է, իսկ target-ը՝ main branch-ը։

Pipeline-ի build-and-deploy-staging-for-review job-ը ստեղծեց հետևյալ URL-ը՝ «http://a4f194667b4fa23.staging.nice-app.com/», որտեղ a4f194667b4fa23-ը commit-ի հեշն է, որը ծառայում է և՛ որպես ենթածիր, և՛ որպես ենթացուցակ AWS S3 staging bucket-ում։

Երբ ֆայլերն ու հեշը պատրաստ են, կարող ենք օգտվել օպերացիոն համակարգի հնարավորությունից, որը թույլ է տալիս տեղային միջավայրում ծիրը կապել IP հասցեին։

2

Այս կարգավորումը գտնվում է /etc/hosts (Linux/Mac) կամ c:\Windows\System32\Drivers\etc\hosts (Windows) ֆայլում։ Բացեք այն ադմինիստրատորի իրավունքներով, ավելացրեք ստորև նշված տողը և պահպանեք փոփոխությունները՝

127.0.0.1   a4f194667b4fa23.staging.nice-app.com

Արդյունքում «http://a4f194667b4fa23.staging.nice-app.com» URL-ի համար օպերացիոն համակարգը մեզ կուղարկի 127.0.0.1 IP հասցեին, այսինքն՝ localhost-ին, որտեղ կաշխատի Docker daemon-ը մի քանի պարբերություն առաջ սահմանված Nginx docker պատկերով։

Այս հնարքի շնորհիվ կարող ենք Reverse-proxy սերվերը փորձարկել և վրիպազերծել տեղային մեքենայում՝ առանց «nice-app.com» DNS գոտու համար AWS Route 53-ի վրա հենվելու։

Թեստերի գործարկումը տեղային մեքենայում

Հաջորդը անցեք Reverse-proxy սերվերի ֆայլերը պարունակող առանձին նախագծի պանակ (այստեղ ցուցակագրում ենք դրանք՝ ցույց տալու համար, թե որ ֆայլերն են պատճենվել այնտեղ)։

$ cd /home/nice-app-developer/projects/staging-reverse-proxy
$ ls
Dockerfile  nginx.conf

Այս պահին կարող ենք գործարկել Docker կոնտեյներ այդ ֆայլերից կառուցված պատկերից (համոզվեք, որ Docker-ը տեղադրված է, իսկ Docker daemon-ը՝ աշխատում)։

$ docker build -t reverse-proxy .
$ docker run -it --rm -d -p 80:80 --name reverse-proxy-server reverse-proxy

Այժմ պետք է կարողանանք հարցում ուղարկել սերվերին նախկինում հայտարարված ենթածիրի միջոցով։ Պատասխանում պետք է ստանանք այն հավելվածի HTML կոդը, որի ֆայլերը (այդ թվում՝ index.html-ը) բեռնվել են AWS S3։ Ստորև բերված բովանդակությունը պարզապես օրինակ է, պատրաստված այնպես, որ այստեղ չանդրադառնանք հենց հավելվածին, այլ ցույց տանք, թե ինչպիսի տեսք կարող է ունենալ սերվերի նման պատասխանը։

$ curl http://a4f194667b4fa23.staging.nice-app.com/
<html>
<head><title>Nice-app application</title></head>
<body>
<center>Hello!</center>
</body>
</html>

AWS S3 bucket-ից hosting-ի խնդիրները

Շատ լավ։ Nginx սերվերի Reverse-proxy մեխանիզմն անցավ մեր թեստերը։ Այնուամենայնիվ հիշեք, որ սա ընդամենը ճանապարհի սկիզբն է, քանի որ AWS S3 bucket-ների URL-ներն ունեն վարքագծի իրենց առանձնահատուկ օրինաչափությունները և իրենց խնդիրները, որոնք նկարագրված են ստորև։

Խնդիր 1. Ինչպես է hosting-ը մշակում ավարտող slash-ով URL-ները

AWS S3 bucket-ում պահվող ֆայլերի hosting-ը աշխատում է այսպես. երբ URL-ն ավարտվում է slash-ով / (այսպես կոչված «trailing slash»), hosting սերվերը նախ այդ ուղու տակ փնտրում է ցուցակ, ապա նրա ներսում՝ index.html ֆայլ, որի պարունակությունը վերադարձնում է պատասխանում։

Այսպես՝ «nice-app-staging.s3-website.eu-central-1.amazonaws.com/some-directory/» URL-ի համար ստանում եք some-directory/index.html ֆայլի պարունակությունը։ Եթե այդպիսի ֆայլ չկա, ցուցադրվում է 404 սխալի էջ (տես ստորև նկարը)։

Այլ է իրավիճակը, երբ URL-ը չունի ավարտող slash։ Այդ դեպքում AWS S3 hosting-ը ստուգում է՝ արդյոք գոյություն ունի some-directory անունով (առանց ընդլայնման) ֆայլ՝ լիովին անտեսելով այն հնարավորությունը, որ դա ցուցակ է, այլ ոչ թե ֆայլ։ Այսպիսով, նույնիսկ երբ some-directory ենթացուցակը պարունակում է index.html ֆայլ, էջը դարձյալ ճիշտ չի ցուցադրվի (օրինակը՝ ստորև)։

Մեր ներկայիս Nginx կոնֆիգուրացիայի դեպքում proxy_pass ֆունկցիան յուրաքանչյուր URL-ը (թե՛ ավարտող slash-ով, թե՛ առանց դրա) փոխանցում է AWS S3 hosting-ին, ուստի ավարտող slash-ից զուրկ URL-ների համար կարող ենք իրական հավելվածի էջի (HTML ֆայլի պարունակության) փոխարեն ստանալ 404 սխալի էջեր։

Լուծում

Սա կարող ենք շտկել rewrite ֆունկցիայով, որը ավարտող slash-ից զուրկ յուրաքանչյուր URL-ը վերահասցեավորում է նույն URL-ին՝ slash-ը կցելով վերջում։

rewrite (.*[^\/])$ $1/ break;

Խնդիր 2. Ակտիվների (օրինակ՝ jpg, png, css, js և այլն) առանց slash-ի URL-ների վերահասցեավորումը

Ավարտող slash-ի խնդիրը շտկված է, բայց դրա դիմաց այլևս չենք կարողանում հասնել ակտիվների ֆայլերին։ Նոր ավելացված rewrite հրահանգը այժմ slash է կցում *.jpg նման ֆայլերին, ինչը AWS S3-ին ստիպում է index.html ֆայլ փնտրել այն ցուցակի ներսում, որի անունն ավարտվում է .jpg/-ով։

Լուծում

Ամենապարզ ելքը URL ուղիների երթուղավորումը երկու օրինաչափության բաժանելն է. մեկը մշակում է առանց ավարտող slash-ի ֆայլերը, մյուսը՝ ավարտող slash ունեցող ենթաէջերի URL-ները։

    location ~* (.*\.[A-Za-z]+)$ { # all files with extension
        resolver 192.168.65.5;
        proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
    }

    location / {
        resolver 192.168.65.5; # docker localhost DNS resolver
        # adding a trailing slash to the end of URL if it does not exist (needed for proxy_pass to open AWS S3 directory, then to search for index.html inside)
        rewrite (.*[^\/])$ $1/ break;
        proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
    }

Ինչպես երևում է վերևի կոդից, լրացուցիչ location ~* (.*[A-Za-z]+)$ օրինակը համընկնում է ընդլայնում ունեցող ֆայլերին մատնանշող այն URL-ների հետ, որոնք չեն ավարտվում slash-ով, և դրանք փոխանցում է առանց որևէ rewrite հրահանգի։

Խնդիր 3. Nginx-ը URL-ները փոխանցում է վերծանված տեսքով

Ֆայլերը ևս մեկ խնդիր են առաջացնում. նրանց անունները կարող են պարունակել բացատներ և այլ հատուկ նիշեր։ Ցավոք, երբ օգտագործվում է $uri փոփոխականը, Nginx-ը լռելյայն արդեն կոդավորված URL-ները նորից վերածում է վերծանված տեսքի, և հենց դա է փոխանցվում proxy_pass ֆունկցիային։

Այս կարգավորումը կաշխատեր առանց խնդիրների, եթե AWS S3-ը բավարարվեր այդպիսի վերծանված URL-ներով։ Ինչպես կարող եք կռահել, ծառայությունը դրանք չի ընդունում։

Բացատներ պարունակող անունով ֆայլի համար, օրինակ՝ file with space.png, AWS S3 hosting-ը կցուցադրի սխալ, որ ֆայլը չի կարողացել գտնել։

Մյուս կողմից, հարցվող պատկերը կգտնվի, երբ օգտագործենք կոդավորված URL, օրինակ՝ file%20with%20space.png (որտեղ %20-ը կոդավորված բացատն է)։

Լուծում

Լուծումը Nginx-ի՝ մշակման համար վերծանած URL-ի հատվածը նորից կոդավորելն է։ Քանի որ հենց ֆունկցիան բավական բարդ է, ընտրեցինք Nginx սերվերի ընդլայնում, որն այն տրամադրում է։ Ընդլայնումը կոչվում է «OpenResty», իսկ մեզ պետք ֆունկցիան set_escape_uri-ն է։

Որպեսզի ժամանակ չվատնենք ընդլայնումը Dockerfile-ի լրացուցիչ տողերով տեղադրելու վրա, այս ցուցադրության համար ընտրեցինք Nginx docker պատկեր, որի մեջ անհրաժեշտ ընդլայնումն արդեն տեղադրված է։

Այժմ Dockerfile-ն այսպիսի տեսք ունի՝

FROM openresty/openresty:1.21.4.1-3-buster-fat

# custom configuration
COPY ./nginx.conf /etc/nginx/conf.d/default.conf

Իսկ ահա nginx.conf կոնֆիգուրացիան ամբողջությամբ՝

server_names_hash_bucket_size 64;

server {
    listen 80;

    server_name ~(.*)\.staging\.nice-app\.com$;
    set $subdomain $1;
    set $destination_domain 'nice-app-staging.s3-website.eu-central-1.amazonaws.com';

    location ~* (.*\.[A-Za-z]+)$ {
        resolver 192.168.65.5;
        set_escape_uri $escaped_uri $uri; # OpenResty Nginx module https://github.com/openresty/set-misc-nginx-module#set_escape_uri
        proxy_pass http://$destination_domain/$subdomain$escaped_uri$is_args$args;
    }

    location / {
        resolver 192.168.65.5; # docker localhost DNS resolver
        # adding a trailing slash to the end of URL if it does not exist (needed for proxy_pass to open AWS S3 directory, then to search for index.html inside)
        rewrite (.*[^\/])$ $1/ break;
        proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
    }
}

Համառոտ ամփոփում

Ընտրեցինք սերվերի իրականացում, կազմեցինք (Reverse-proxy-ի) կոնֆիգուրացիա և լուծեցինք AWS S3 hosting-ում URL-ների աշխատանքից բխող խնդիրները։ Ամբողջը փորձարկեցինք նաև տեղային միջավայրում՝ Docker-ով։ Սակայն մեզ դեռ պակասում է ամպում տեղակայումը, որը սերվերը հասանելի կդարձնի հաճախորդ ընկերության Kubernetes կլաստերին։

6