Գնահատել նախագիծը
← Բոլոր հրապարակումները

Ինչպե՞ս մոտենալ ECS autoscaling-ին

Տիրապետեք ECS autoscaling-ին. իմացեք, թե ինչպես օպտիմալացնել պրոցեսորի օգտագործումը, հաղթահարել տրաֆիկի թռիչքները և կարգավորել ձեր կլաստերները՝ ամպային լավագույն կատարողականության համար։

7 րոպե
KafkaԳիտելիքի փոխանակումGrafanaՄասշտաբավորելիություն

Երբ խոսակցության մեջ ամպային ծառայություններ են հիշատակվում, «մասշտաբավորելի» բառը գրեթե երաշխավորված հայտնվում է։ Իսկ «ամպային ծառայությունները մասշտաբավորելի են» պնդումը, անշուշտ, ճիշտ է։ Դրանք պարզեցնում են մասշտաբավորումը և հաճախ այն անում են ինքնուրույն։ Բայց երբեմն մեզ անհրաժեշտ է վերցնել ղեկը և ճշգրիտ սահմանել, թե ինչպես պետք է վարվի մասշտաբավորումը։ Հենց այդպիսի իրավիճակի առաջ կանգնեց մեր թիմը, երբ մասշտաբավորում էր մեր ECS կլաստերում աշխատող միկրոծառայությունները։ Թույլ տվեք պատմել, թե ինչպես անցավ։

Արտադրանքի ակնարկ

Կարճ ասած՝ մենք երեք մշակողից բաղկացած փոքր թիմ ենք, որ տվյալների հարթակ կառուցելիս իր մեջ բաժանում է backend-ի, frontend-ի և ops-ի պարտականությունները։ Դրա տրաֆիկը մշտապես բարձր չէ։ Ավելի շուտ մենք պարբերաբար ստանում ենք տրաֆիկի թռիչքներ, երբ հաճախորդները գործարկում են մեծ ծանրաբեռնվածություններ, օրինակ՝ վերբեռնում են շատ ֆայլեր։ Բիզնեսի տեսանկյունից մեր նպատակն է այդ ծանրաբեռնվածությունները մշակել հնարավորինս արագ, որպեսզի օգտատերերը կարողանան սկսել աշխատել թարմ վերբեռնված տվյալների հետ։

Համակարգը ասինխրոն է և հաղորդագրությունների վրա հիմնված, որտեղ պատասխանատվությունները բաշխված են բազմաթիվ միկրոծառայությունների միջև։ MSK-ն (AWS-ի կառավարվող Kafka) ծառայում է որպես մեր դիմացկուն հաղորդագրությունների լոգ, RDS-ը՝ որպես մեր հիմնական ռելյացիոն տվյալների բազա, իսկ OpenSearch-ը (AWS-ի կառավարվող Elasticsearch)՝ որպես մեր վեբ UI-ներում տվյալների ընթերցման հիմնական շարժիչ։

Նախնական կարգավորումը և խնդիրները

Սկզբում մեր բոլոր ծառայություններն աշխատում էին մեկ ECS կլաստերում՝ ընդհանուր autoscaling քաղաքականությամբ։ Մասշտաբավորումը կախված էր հիշողության օգտագործումից. երբ հիշողության օգտագործումը գերազանցում էր 80%-ը, ծառայությունը մասշտաբավորվում էր դեպի վեր (scale out), իսկ երբ իջնում էր 20%-ից ցածր, կրճատվում էր (scale in)։ Այս լռելյայն կարգավորումն օգտագործվում էր նաև այլ կլաստերներում, որտեղ տեղակայված էին մեր հաճախորդի մյուս արտադրանքները։

Երբ ավելի շատ հաճախորդներ միացան և տրաֆիկի թռիչքներն ավելի հաճախակի դարձան, պարզվեց, որ մեր կարգավորումը բավարար չէ։ Չափանիշները ցույց տվեցին, որ հիշողության օգտագործումը մեր միկրոծառայությունների համար իրականում խնդիր չէր. մենք բախվում էինք պրոցեսորի համար մրցակցության։ Ծառայություններից և ոչ մեկը չուներ հիշողության կամ պրոցեսորի խիստ սահմանաչափեր, ուստի մեկ կոնտեյների task-ը կարող էր սպառել EC2 instance-ի բոլոր ռեսուրսները, հատկապես տրաֆիկի գագաթնակետերին։ Արդյունքում այլ ծառայություններ երբեմն չէին պատասխանում AWS-ի ավտոմատ health check-երին և հայտնվում էին restart-and-retry ցիկլերում։

Երբեմն, երբ գիտեինք, որ տրաֆիկի գագաթնակետ է գալիս, փորձում էինք առաջ ընկնել՝ ձեռքով կլաստերին ավելացնելով EC2 instance-ներ և task-եր։ Դա արագ լուծում էր, բայց նաև նշանակում էր լրացուցիչ աշխատանք և ավելորդ սթրես։ Երբեմն դա օգնում էր, բայց չէր լուծում հիմնական խնդիրները։ Պրոցեսորի համար մրցակցությունը մնում էր, մենք չգիտեինք, թե յուրաքանչյուր տեսակից քանի լրացուցիչ task բարձրացնել, և ժամանակ չունեինք հետևելու արդյունքներին ու շտկումներ անելու ընթացքի մեջ։

Մասշտաբավորման գործոնների որոշում

Ի վերջո մենք ժամանակ գտանք մեր autoscaling-ի խնդիրները լուծելու համար։ Առաջին քայլը ձեր տեղակայման համար ճիշտ մասշտաբավորման գործոնները պարզելն է, և դա անելու լավագույն եղանակը ձեր չափանիշներին նայելն ու ձեր կոդը հասկանալն է։ Ինչպես արդեն ասացի, մենք արդեն գիտեինք, որ պրոցեսորը խցանում է, ուստի այն դարձավ մեր առաջին մասշտաբավորման գործոնը։ Երկրորդը, որ բնորոշ է հաղորդագրությունների վրա հիմնված համակարգերին, իրադարձությունների հոսքի մշակման ուշացումն էր. մեզ համար դա consumer group-ների lag-երն էին Kafka-ի մի քանի հիմնական topic-ներում։

Մենք նաև նկատեցինք, որ որոշ ծառայություններ հիմնականում մշակում են HTTP հարցումներ, որոնք հանգում են տվյալների բազայի պարզ ընթերցումների և գրառումների։ Դրանք ավելի քիչ ռեսուրսներ են պահանջում, քան պրոցեսորատար աշխատանք կատարող ծառայությունները, օրինակ՝ պատկերների մշակումը, որոնք ավելի շատ կախված են consumer group-ի lag-ից։

Մենք որոշեցինք այս երկու խմբերը բաժանել երկու ECS կլաստերների՝ մեկը պրոցեսորատար ծառայությունների, մյուսը՝ թեթև ծառայությունների համար։ Դա թույլ է տալիս օգտագործել տարբեր autoscaling ռազմավարություններ և մոնիթորինգ անել յուրաքանչյուր կլաստերը առանձին։

Ռեսուրսների սահմանաչափերի որոշում

Պրոցեսորի համար մրցակցությունը կարելի է լուծել ECS task-երի վրա ռեսուրսների խիստ սահմանաչափեր դնելով։ Սակայն դա բերում է մի քանի կարևոր փոխզիջումներ և հետևանքներ։ Նախ՝ ռեսուրսները կորչում են, երբ task-ը անգործ է։ Ավելին՝ խիստ սահմանաչափերի համար լավ արժեքներ ընտրելը շատ դժվար է. պետք է իմանալ, կամ նույնիսկ չափել, թե տարբեր ծանրաբեռնվածությունների դեպքում տվյալ ծառայությանը որքան պրոցեսոր և հիշողություն է պետք։

Փոխարենը մենք ընտրեցինք փափուկ սահմանաչափեր (soft limits) մեր ECS կոնտեյների task-երի համար։ Ո՞րն է տարբերությունը։ Փափուկ սահմանաչափերի դեպքում նույն ռեսուրսային հարաբերակցություն ունեցող task-երը, օրինակ՝ 0.5 vCPU, կարիքի դեպքում կարող են այդ ռեսուրսները կիսել իրար մեջ։ Ենթադրենք՝ երկու task-ից յուրաքանչյուրն ունի 0.5 vCPU փափուկ սահմանաչափ, և մեկը անգործ է, մինչ մյուսը պրոցեսորատար աշխատանք է կատարում. զբաղված task-ը կարող է ժամանակավորապես փոխառել անգործ task-ի չօգտագործված 0.5 vCPU-ն։ Երբ անգործ task-ը արթնանում է, նա պարզապես ստանում է իրեն անհրաժեշտ պրոցեսորը՝ առանց մրցակցության ու պայքարի։ Սա ընդհանուր առմամբ հանգեցնում է ռեսուրսների ավելի լավ օգտագործման և չի պահանջում այն ճշգրտությունը կամ կոշտ կոնֆիգուրացիան, ինչ խիստ սահմանաչափերը։

Սովորական կլաստեր

Ինչպես նշեցի, մենք մեր ծառայությունները բաժանեցինք երկու ECS կլաստերների միջև։ «Սովորական» կլաստերը հյուրընկալում է այն ծառայությունները, որոնք հիմնականում մշակում են HTTP տրաֆիկ և մասշտաբավորվում են ըստ պրոցեսորի օգտագործման։ Գործնականում այս կլաստերը հազվադեպ է իր նախնական նվազագույնից ավելի EC2 instance-ներ բարձրացնում։ Ծանր ծանրաբեռնվածության դեպքում մի քանի հիմնական HTTP ծառայություններ, որոնք սպասարկում են ամենակարևոր բիզնես գործընթացները, օրինակ՝ ֆայլերի վերբեռնման և parse անելու հետ գործ ունեցողները, մասշտաբավորվում են մի երկու instance-ով, և սովորաբար դա ամենն է։

Այս ծառայությունների մեծ մասը ռելյացիոն տվյալների բազայի գործողություններ է կատարում մեր RDS instance-ի դեմ, որը կիսում են միկրոծառայությունները, ընդ որում յուրաքանչյուր ծառայություն ունի իր սեփական RDS schema-ն։ Scale out-ի ժամանակ մենք երբեմն հասնում էինք տվյալների բազայի կապերի սահմանաչափին, քանի որ յուրաքանչյուր task պահում է իր սեփական connection pool-ը։ Սա շտկեցինք մեր միջավայրին RDS Proxy ավելացնելով, որը կապերը կառավարում և բաշխում է ավելի արդյունավետ։ Թերությունը latency-ի աննշան աճն է։ Դա փոխհատուցելու համար մի քանի հիմնական ծառայություններ, որոնք կարևոր են ծանրաբեռնվածության կատարողականության համար, դեռ միանում են RDS-ին ուղղակիորեն, մինչդեռ ավելի քիչ կարևոր կամ ավելի հազվադեպ օգտագործվող ծառայություններն իրենց տվյալների բազայի տրաֆիկը անցկացնում են proxy-ի միջով։ Այդ ժամանակից ի վեր կապերի հետ խնդիրներ չենք ունեցել։ Ապագայում ինչ-որ պահի կարող ենք մեր RDS instance-ը մասշտաբավորել ուղղահայաց կամ վերլուծել ծանրաբեռնվածությունը և հնարավոր է՝ օգտագործել RDS read replica-ներ։

Հաշվարկային կլաստեր

Երկրորդ կլաստերը աշխատեցնում է մեր պրոցեսորատար ծառայությունները և մասշտաբավորվում է հիմնականում ըստ consumer group-ի lag-ի։ Լռելյայն յուրաքանչյուր ծառայություն սկսում է մեկ աշխատող task-ով։ Սա, ըստ էության, սպասման ռեժիմ է. մենք կարող ենք մշակել Kafka-ի որոշ հաղորդագրություններ առանց scale out-ի, երբ ծանրաբեռնվածությունը փոքր է։ Այս կլաստերը մասշտաբավորվում է ավելի ագրեսիվ, քան սովորականը։

Այլ կերպ ասած՝ երբ lag-ը որոշակի ժամանակահատվածում մնում է որոշակի շեմից բարձր, ծառայությունները scale out են լինում ավելի մեծ քայլերով (որոնք տարբերվում են ըստ ծառայության)՝ 1 task instance-ից անցնելով 5-ի, հետո 10-ի և այլն։ Քանի որ մենք մեր Kafka topic-ների վրա որևէ նուրբ բաժանման (partitioning) ռազմավարություն չենք կիրառում, կարելի է ակնկալել, որ հաղորդագրությունները բաշխվում են բավական հավասարաչափ, ուստի partition-ների բաշխումը մասշտաբավորման ժամանակ մտահոգություն չէ։ Ուստի task instance-ների առավելագույն քանակը սահմանափակված է յուրաքանչյուր topic-ի partition-ների քանակով, որը մեզ մոտ 30 է։ Կրճատումը պարզ է. երբ consumer group-ի lag-ը իջնում է 0-ի, մենք վերադառնում ենք մեկ task instance-ի։

Նուրբ կարգավորում

Մասշտաբավորման ճիշտ շեմերը և քայլերի չափերը որոշելու համար մենք փորձարկեցինք բազմաթիվ տարբեր կոնֆիգուրացիաներ՝ տեսնելու, թե հարթակն ինչպես է արձագանքում։ Անկեղծ ասած՝ կարճ ճանապարհ չկա. դա պահանջում է ժամանակ և գործնական թեստավորում իրական ծանրաբեռնվածություններով։ Մենք load թեստեր անցկացրինք մեր staging միջավայրում, իսկ հետո նաև production-ում։

Այս փուլում լավ մոնիթորինգը էական է։ Մասշտաբավորման արդյունավետությունը գնահատելու համար մեր օգտագործած հիմնական չափանիշներն են պրոցեսորի և հիշողության օգտագործումը՝ և՛ ամբողջ կլաստերի, և՛ առանձին ծառայությունների մակարդակով, EC2 և task instance-ների քանակը, պատասխանի ժամանակները և consumer group-ների lag-ը։ Արժե նաև հետևել ձեր single point of failure-ին,, օրինակ՝ տվյալների բազաներին, քանի որ հարթակի scale out-ի ժամանակ դրանք կարող են ավելի մեծ բեռի ենթարկվել, քան ձեր թիմը սովոր է տեսնել։ Մեր դեպքում մենք գտանք և օպտիմալացրինք ծառայություններում SQL կանչերի մի շարք, որոնք բարձրացնում էին ընդհանուր RDS instance-ի պրոցեսորի օգտագործումը։

Ի վերջո մենք հանգեցինք մի կարգավորման, որը լավ ծառայեց մեզ։ Վերբեռնման ծանր ծանրաբեռնվածությունների դեպքում, երբ հարթակ են ուղարկվում ֆայլերի մեծ խմբաքանակներ, մեր հաշվարկային կլաստերը կարողացավ համընթաց մնալ ողջ ասինխրոն մշակմանը և բոլոր արդյունքները տրամադրեց գրեթե հենց վերբեռնումների ավարտին։ Նուրբ կարգավորումը մեծապես կախված է այն աշխատանքային հոսքի բնույթից, որը ցանկանում եք մասշտաբավորել։ Յուրաքանչյուր նախագիծ տարբեր է, ուստի սկզբից ձեր համակարգը մանրակրկիտ հասկանալը առանցքային է։

Ամփոփում

Նուրբ կարգավորումն ու load թեստավորումը ներառյալ՝ ամբողջ գործընթացը տևեց մեկ ամսից ավելի։ Մենք շատ բան սովորեցինք մեր ծառայությունների և հենց ECS autoscaling-ի մասին։ Բիզնեսի կողմից մենք բարելավեցինք հարթակի ընդհանուր կատարողականությունը, ինչը ուղղակիորեն ազդում է նրա վրա, թե ինչպես են մեր հաճախորդները օգտագործում արտադրանքը։ Որպես մշակողներ՝ մենք նաև հոգեկան հանգստություն ստացանք. տրաֆիկի գագաթնակետերն ավելի քիչ սթրեսային են, և մեզ այլևս պետք չէ միջամտել ու փորձել ձեռքով ամեն ինչ շտկել։

Իմ կարծիքով, ECS autoscaling-ի աշխատանքում երկու ամենակարևոր քայլերն են ճիշտ մասշտաբավորման գործոնների գտնելը, ինչը նշանակում է ձեր ծանրաբեռնվածությունը հասկանալ, և մասշտաբավորման պարամետրերի նուրբ կարգավորումը։ Յուրաքանչյուր արտադրանք տարբեր է, և որոշ բաներ լավ չեն ընդհանրացվում. համընդհանուր լուծում չկա։ Մի շտապեք, վստահեք ձեր չափանիշներին և load թեստերի արդյունքներին, և ի վերջո կհայտնվեք ճիշտ տեղում։

Շնորհակալություն կարդալու համար։ Հուսով եմ՝ այս կարճ հոդվածը օգտակար կլինի ձեզ։