Apache Kafka-ի Disaster Recovery և բազմարեգիոն ճարտարապետություններ. ուղեցույց
Այսօրվա համակարգերը իրադարձություններով կառավարվող են, աշխատում են իրական ժամանակում և տարածված են ամբողջ աշխարհով։
Այսօրվա համակարգերը իրադարձություններով կառավարվող են, աշխատում են իրական ժամանակում և տարածված են ամբողջ աշխարհով։ Շատ կազմակերպություններում Apache Kafka-ն շատ ավելին է, քան ուղղակի ևս մեկ բաղադրիչ. այն ողնաշարն է, որը տվյալները տեղափոխում է սերվիսների, թիմերի և ռեգիոնների միջև։
Երբ Kafka-ն կանգնում է, բիզնեսը հաճախ կանգնում է դրա հետ միասին։
Վճարումները չեն մշակվում։ Պատվերները չեն առաքվում։ Խարդախության հայտնաբերման pipeline-ները կանգ են առնում։ Հաճախորդների ծանուցումները կորչում են։ Անալիտիկան հետ է մնում։ Խիստ կարգավորվող ոլորտներում անջատումը կարող է նույնիսկ հանգեցնել թանկարժեք համապատասխանության խախտումների։
Ահա թե ինչու Kafka-ի disaster recovery-ն և բազմարեգիոն ճարտարապետությունները «հաճելի հավելում» չեն։ Դրանք բիզնեսի անընդհատության ռազմավարության կենտրոնական շինանյութերն են։
Kafka-ն որպես կրիտիկական ենթակառուցվածքի բաղադրիչ
Շատ ճարտարապետություններում Kafka-ն հանգույցն է՝
- միկրոսերվիսների միջև հաղորդակցության
- event sourcing համակարգերի
- change data capture (CDC) pipeline-ների
- իրական ժամանակի անալիտիկայի
- տվյալների հարթակների ingestion շերտերի
- ML feature pipeline-ների
Այս կենտրոնական դիրքը Kafka-ն դարձնում է և՛ հզոր, և՛ ռիսկային։ Երբ մեկ ռեգիոն ձախողվում է, իսկ Kafka-ն ճիշտ կրկնօրինակված չէ, վնասի շառավիղը հսկայական է։
Զրո պարապուրդով (zero-downtime) աշխատանքի համար կառուցելը նշանակում է հանդիպել մի քանի անհարմար հարցերի՝
- Ի՞նչ կլինի, եթե ամբողջ availability zone-ն անջատվի։
- Ի՞նչ կլինի, եթե մի ամբողջ ռեգիոն անհասանելի դառնա։
- Ի՞նչ կլինի, եթե կլաստերը շարունակի աշխատել, բայց ռեգիոնների միջև ցանցը բաժանվի։
- Ի՞նչ կլինի, եթե topic-ը սխալմամբ ջնջվի կամ տվյալները վնասվեն։
Բիզնեսի սպասումներին համապատասխանելու համար Kafka-ի disaster recovery-ի առողջ ճարտարապետությունը պետք է ծածկի այս բոլորը։
Ինչու են կարևոր Kafka-ի disaster recovery-ն և բազմարեգիոն ճարտարապետությունը
Շատ թիմեր հույսը դնում են միայն Kafka-ի կլաստերի ներսում կրկնօրինակման վրա և կարծում են, որ անվտանգ են։
Նրանք անվտանգ չեն։
Kafka-ի տիպիկ replication factor-ը (օրինակ՝ երեք կրկնօրինակ, բաշխված broker-ների վրա) ձեզ պաշտպանում է՝
- առանձին broker-ի ձախողումից,
- սկավառակի վթարներից,
- առանձին հանգույցների անջատումներից։
Այն ոչ մի պաշտպանություն չի տալիս՝
- ամբողջ տվյալների կենտրոնի ձախողումից,
- ամբողջ ռեգիոնի վրա ազդող անջատումներից,
- աղետալի ցանցային բաժանումներից,
- cloud պրովայդերի մոտ տեղի ունեցող միջադեպերից։
Հենց այդ պահին է, որ բազմարեգիոն Kafka ճարտարապետությունները դառնում են անհրաժեշտություն։
Պարապուրդի իրական գինը
Kafka-ի բազմարեգիոն կրկնօրինակման ռազմավարությունների ցանկացած քննարկում պետք է սկսվի բիզնեսի վրա ազդեցությունից՝
- Պարապուրդի յուրաքանչյուր րոպե որքա՞ն եկամուտ է արժենում։
- Տվյալների որքա՞ն կորուստ կարելի է հանդուրժել։
- Ներքևի համակարգերը կարո՞ղ են հաղթահարել replay-ը։
- Կիրառվո՞ւմ են արդյոք կարգավորիչ սահմանափակումներ։
Որոշ համակարգերի համար՝
- Մի քանի վայրկյանի տվյալների կորուստը ընդունելի է։
- 15–30 րոպեում վերականգնումը բավարար է
Մյուսների համար՝
- Տվյալների կորուստը պետք է մոտ լինի զրոյի։
- Վերականգնումը պետք է տեղի ունենա ավտոմատ։
- Failover-ը չպետք է անտեսանելի չլինի հաճախորդների համար։
Kafka DR-ի ոչ մի ճարտարապետություն չի համապատասխանում բոլորին։
Սկսեք բիզնես պահանջներից՝ RPO և RTO
Kafka-ի disaster recovery ճարտարապետություն կառուցելը առանց հստակ սահմանված բիզնես պահանջների թիմերի ամենահաճախ թույլ տրվող և ամենաթանկ սխալներից է։
Մինչ active-passive, active-active, 3-DC կամ 2.5-DC ճարտարապետությունների մասին որոշելը, պետք է պատասխանել երկու հիմնական հարցի՝
- Տվյալների որքա՞ն կորուստ կարող ենք թույլ տալ։
- Որքա՞ն պարապուրդ կարող ենք թույլ տալ։
Այս երկու հարցերն ուղղակիորեն համապատասխանում են՝
- Recovery Point Objective (RPO)
- Recovery Time Objective (RTO)
Ըստ էության, Kafka-ի յուրաքանչյուր բազմարեգիոն ճարտարապետություն փոխզիջում է այս երկու չափանիշների և գործառնական բարդության միջև։
RPO-ն և RTO-ն բացատրված
Recovery Point Objective (RPO)
RPO-ն սահմանում է տվյալների կորստի ամենամեծ հանդուրժելի ծավալը՝ արտահայտված ժամանակով։ Apache Kafka-ի disaster recovery-ի համար RPO-ն սովորաբար հանգում է հետևյալին՝
- Քանի՞ հաղորդագրություն կարող է կորչել։
- Կրկնօրինակման ուշացման քանի՞ վայրկյանը (կամ րոպեն) կարելի է հանդուրժել։
- Ռեգիոնների միջև ասինխրոն կրկնօրինակումը ընդունելի՞ է։
Kafka-ի բազմարեգիոն կրկնօրինակման մեջ RPO-ն խիստ կախված է՝
- կրկնօրինակման մեխանիզմից (MirrorMaker 2, Cluster Linking և այլն),
- ռեգիոնների միջև ցանցային latency-ից,
- producer-ի acknowledgment կարգավորումներից (acks=all vs acks=1),
- այն բանից, թե կրկնօրինակումը կատարվում է սինխրոն, թե ասինխրոն։
Հիշեք, որ ռեգիոնների միջև կրկնօրինակող Kafka կարգավորումների մեծ մասն ասինխրոն են, ուստի RPO-ն հազվադեպ է զրո լինում։ Եթե բիզնեսը պահանջում է RPO = 0 ռեգիոնների միջև, ճարտարապետությունը պետք է խնամքով նախագծվի դա աջակցելու համար։
Recovery Time Objective (RTO)
RTO-ն սահմանում է, թե որքան արագ պետք է համակարգը վերականգնվի ձախողումից։
Kafka-ի համար RTO-ն պատասխանում է այսպիսի հարցերի՝
- Որքան արագ պետք է producer-ները նորից միանան։
- Որքան շուտ պետք է consumer-ները վերսկսեն մշակումը։
- Ձեռքով failover-ը ընդունելի՞ է։
- Նորմա՞լ է, եթե DNS-ի փոխարկումը րոպեներ է տևում։
Kafka-ում RTO-ն կախված է՝
- արդյոք client-ի կոնֆիգուրացիան կարող է աշխատել մի քանի կլաստերների հետ,
- offset-ների կրկնօրինակման եղանակից,
- failover-ի օրկեստրացիայի եղանակից,
- արդյոք երկրորդային ռեգիոնի ենթակառուցվածքը նախապես տրամադրված է։
Ցածր RTO-ն սովորաբար պահանջում է՝
- active-active ճարտարապետություններ,
- ավտոմատ failover,
- stretched կլաստերներ։
Kafka-ի կրկնօրինակման հիմունքները
Մինչ մի քանի ռեգիոն ընդգրկող Kafka disaster recovery ճարտարապետություն նախագծելը, պետք է հստակ պատկերացնել այն կրկնօրինակման երաշխիքները, որոնք Kafka-ն առաջարկում է մեկ կլաստերի ներսում։
Բազմաթիվ ճարտարապետական որոշումներ հիմնվում են դիմացկունության (durability) և հետևողականության (consistency) մասին սխալ ենթադրությունների վրա։ Ուստի ուղղակի ասենք, թե Kafka-ն իրականում ինչ է երաշխավորում՝ և ինչ պայմաններում։
Կլաստերի ներսում կրկնօրինակման երաշխիքները
Partition-ների կրկնօրինակումը Kafka-ի բարձր հասանելիության մոդելի հիմքն է։ Topic-ի յուրաքանչյուր partition կարող է ունենալ մի քանի կրկնօրինակ (replica), բաշխված broker-ների վրա՝
- Leader replica – զբաղվում է բոլոր կարդալներով և գրելներով։
- Follower replica-ներ – տվյալները պատճենում են leader-ից սինխրոն։
- Observer replica – ասինխրոն replica (առաջարկվում է Confluent տեղակայումներում). դրան կվերադառնանք ավելի ուշ՝ stretched 2.5-DC կլաստերների մասին խոսելիս։
Leader-ը գումարած բոլոր follower replica-ները, որոնք լիովին հասել են, կազմում են In-Sync Replica (ISR) բազմությունը։ Follower-ը, որը հետ է մնում կարգավորված շեմերից, հեռացվում է ISR-ից։
Երբ producer-ը հաղորդագրություն է ուղարկում, դրա դիմացկունությունը որոշվում է՝
- replication factor-ով (RF),
- acks կոնֆիգուրացիայով,
- min.insync.replicas-ով,
- leader election քաղաքականությամբ։
Անցնենք դրանց մեկ առ մեկ։
Replication Factor (RF)
Replication factor-ը սահմանում է, թե յուրաքանչյուր partition-ի քանի պատճեն գոյություն ունի։
Օրինակ՝
Replication factor = 3
Partition P0 → Broker 1 (leader)
Broker 2 (follower)
Broker 3 (follower)
Երբ broker-ը ձախողվում է, Kafka-ն կարող է ISR բազմությունից նոր leader ընտրել։
Replication factor-ը ինքնին, սակայն, զրոյական տվյալների կորուստ չի երաշխավորում։
Producer-ի հաստատումներ (acks)
Producer-ի գրառումների դիմացկունությունը մեծապես կախված է acks կարգավորումից՝
- acks=0 → դիմացկունության ոչ մի երաշխիք,
- acks=1 → հաստատում է միայն leader-ը,
- acks=all (կամ -1) → leader-ը սպասում է ներկայումս ISR-ում գտնվող յուրաքանչյուր replica-ի։
Ուժեղ դիմացկունություն պահանջող production համակարգերը պետք է օգտագործեն՝
- acks=all,
- min.insync.replicas >= 2,
- replication.factor >= 3։
Սա ապահովում է, որ հաղորդագրությունը հաստատվելուց առաջ հայտնվի մի քանի broker-ների վրա։ Այդուհանդերձ, այս կարգավորումը պաշտպանում է ձեզ միայն մեկ տվյալների կենտրոնի ներսում։
Leader election և տվյալների կորստի ռիսկ
Երբ leader-ը ձախողվում է, Kafka-ն ISR-ից նորն է ընտրում։
Հետևյալով՝ unclean.leader.election.enable=false (խորհուրդ է տրվում)
Kafka-ն երբեք չի ընտրում replica, որը սինխրոն չէ։
Դա կանխում է տվյալների կորուստը, թեև partition-ը կարող է ժամանակավորապես անհասանելի դառնալ։
Հետևյալով՝ unclean.leader.election.enable=true
Kafka-ն կարող է ընտրել հնացած replica → հնարավոր է տվյալների կորուստ։
Այն համակարգերը, որոնք ուժեղ դիմացկունությունը գերադասում են հասանելիությունից, պետք է անջատված ունենան unclean leader election-ը։
Սինխրոն ընդդեմ ասինխրոն կրկնօրինակման
Մեկ ռեգիոնից բազմարեգիոն Kafka ճարտարապետության անցումը արմատապես փոխում է կրկնօրինակման մոդելը։
Կլաստերի ներսում՝
- Կրկնօրինակումը սերտորեն համակարգված է։
- Controller-ը ապահովում է ISR երաշխիքները։
- Leader election-ը դետերմինիստական է։
Ռեգիոնների միջև սա տարբերվում է՝ կախված ընտրված կրկնօրինակման մոդելից։ Համեմատենք երկու մոտեցումները։
Ասինխրոն միջռեգիոնային կրկնօրինակում
Kafka-ի բազմարեգիոն կրկնօրինակման մեխանիզմները՝ MirrorMaker 2, Confluent Replicator և Cluster Linking, ասինխրոն են։
Այստեղ կրկնօրինակման գործընթացը տվյալները առաքում է առաջնային կլաստերից երկրորդայինին։ Այս մոտեցումը նշանակում է, որ՝
- կա կրկնօրինակման ուշացում,
- երբ ռեգիոնը ձախողվում է, ամենավերջին հաղորդագրությունները կարող են բացակայել,
- failover-ը պահանջում է client-ների վերաուղղորդում։
Առավելությունները՝
- Ավելի ցածր գրելու latency։
- Ավելի բարձր հասանելիություն, քան մեկ ռեգիոնով սահմանափակված ստանդարտ կլաստերը։
- Ավելի լավ արդյունավետություն, քան սինխրոն կրկնօրինակումը։
Փոխզիջումներ՝ RPO-ն և RTO-ն հազվադեպ են զրո լինում։
Երբ խոսքը Kafka-ում ասինխրոն միջռեգիոնային կրկնօրինակման մասին է, մենք հիմնականում կքննարկենք active-active կամ active-passive ճարտարապետություններ (observer-ները եզրային դեպք են – տե՛ս 2.5 DC stretched կլաստերները)։
Սինխրոն միջռեգիոնային կրկնօրինակում
Սինխրոն կրկնօրինակման դեպքում հաղորդագրությունը հաստատվում է միայն այն բանից հետո, երբ գրվել է մի քանի ռեգիոնում։ Դա կնշանակի RPO = 0, այսինքն՝ ռեգիոնի ձախողման դեպքում տվյալների կորուստ չկա։
Սակայն՝
- Ռեգիոնների միջև latency-ն զգալիորեն մեծացնում է գրելու latency-ն։
- Անկայուն ցանցը կարող է վնասել արդյունավետությանը և/կամ հասանելիությանը։
Երբ խոսքը Kafka-ում սինխրոն միջռեգիոնային կրկնօրինակման մասին է, մենք սովորաբար կքննարկենք stretched կլաստերներ՝
- Stretched Cluster 3 DC
- Stretched Cluster 2.5 DC (Confluent)
Kafka-ի disaster recovery ճարտարապետությունների ակնարկ
Երբ RPO-ն և RTO-ն հստակ սահմանված են, և Kafka-ի կրկնօրինակման երաշխիքները հասկացված են, հաջորդ քայլը համապատասխան disaster recovery ճարտարապետության ընտրությունն է։ Գոյություն չունի մեկ «լավագույն» Kafka բազմարեգիոն ճարտարապետություն։ Կան օրինաչափություններ, որոնցից յուրաքանչյուրը հարմարեցված է հետևյալների տարբեր հավասարակշռության՝
- հասանելիություն,
- դիմացկունություն,
- latency,
- գործառնական բարդություն,
- արժեք։
Kafka-ի disaster recovery ճարտարապետություններից ամենատարածվածները՝
- Active-Passive,
- Active-Active,
- Three Data Center (3-DC),
- 2.5-DC observer replica-ներով։
Կսկսենք ամենապարզից։
Active-Passive Kafka ճարտարապետություն
Active-passive ճարտարապետությունում մեկ ռեգիոնը հանդես է գալիս որպես առաջնային և սպասարկում է ամբողջ տրաֆիկը, իսկ երկրորդային պահուստային ռեգիոնը միանում է, եթե առաջնայինը ձախողվի։ Տվյալները ռեգիոնների միջև կրկնօրինակվում են ասինխրոն՝ օգտագործելով՝
- MirrorMaker 2 կամ
- Confluent Replicator կամ
- Cluster Linking։
Ինչպես է աշխատում
Յուրաքանչյուր producer և consumer միանում է միայն ակտիվ կլաստերին։ Պասիվ կլաստերը շարունակում է կրկնօրինակել տվյալները, բայց տրաֆիկ չի սպասարկում, քանի դեռ failover տեղի չի ունեցել։
Ի՞նչ է լինում ռեգիոնի ձախողման ժամանակ
Երբ Region A-ն ձախողվում է՝
- Կրկնօրինակումը կանգ է առնում։
- Տրաֆիկը պետք է վերաուղղորդվի Region B – producer-ները և consumer-ները նորից են միանում։
- Պետք է զբաղվել offset-ների վերականգնմամբ (եղանակով, որը կախված է կրկնօրինակման մեխանիզմից)։
RPO = կրկնօրինակման ուշացում
RTO = հայտնաբերման ժամանակ + failover-ի օրկեստրացիա + client-ների վերամիացում
Active-passive-ը լավ մեկնարկային կետ է բազմարեգիոն ճարտարապետությունների համար, բայց հիշեք, որ՝
- տվյալները կարող են կորչել (մինչև կրկնօրինակման ուշացումը),
- failover-ը կարող է պահանջել ձեռքով միջամտություն։
SRE թիմը պետք է որոշի, թե երբ՝ և արդյոք՝ գործարկել failover, և այդ որոշումները ուղղակի ազդեցություն ունեն տվյալների հետևողականության և հնարավոր replay-ի վրա։
Active-Active Kafka ճարտարապետություն
Active-active ճարտարապետությունները փորձում են նվազեցնել RTO-ն և հնարավոր է՝ RPO-ն՝ թույլ տալով երկու ռեգիոններին միաժամանակ սպասարկել տրաֆիկը։ Այստեղ երկու կլաստերներն էլ ընդունում են գրառումներ, և տվյալները կրկնօրինակվում են երկու ուղղություններով, թեև դեռ ասինխրոն։ Յուրաքանչյուր ռեգիոն սպասարկում է տեղական տրաֆիկը՝ միաժամանակ իր տվյալները կրկնօրինակելով մյուսին։
Սա բերում է որոշ հստակ առավելություններ՝
- ցածր latency (client-ները միանում են ամենամոտ ռեգիոնին),
- RTO, որը կարող է մոտենալ զրոյի,
- ենթակառուցվածքի ավելի լավ օգտագործում։
Այնուամենայնիվ, այն ներմուծում է մարտահրավերների այլ շարք։ Այս ճարտարապետությունը հաճախ կառուցվում է ոչ թե մեկ ընդհանուր topic-ի շուրջ (օրինակ՝ orders), այլ ռեգիոնին հատուկ topic-ների շուրջ՝
- dc1.orders,
- dc2.orders։
Այսպես տեղական producer-ները գրում են միայն իրենց տեղական topic-ում, իսկ ընթերցողները կարդում են երկուսից՝ տեղականից և «հեռավորից», որը կրկնօրինակվել է տեղական DC։ Ընթերցողները կարող են բաժանորդագրվել regexp-ով, օրինակ՝ *.orders։ Այս մոտեցումը հանգեցնում է խնդիրների՝
- Տվյալների հերթականություն (երկու առանձին topic մեկ գլոբալ հոսքի փոխարեն)։
- Consumer-ների տեղափոխում failover-ի ժամանակ, ներառյալ offset-ների ճիշտ մշակումը։
- Ցանցային բաժանումներ, որոնց դեպքում երկու կլաստերներն էլ կարող են շարունակել առանձին գրառումներ ընդունել՝ առաջացնելով տարամիտում։
Active-active ճարտարապետությունները առաջարկում են գերազանց հասանելիություն, բայց պահանջում են idempotency-ի, հերթականության երաշխիքների և offset-ների կառավարման խնամքով նախագծում։
Kafka-ն երեք տվյալների կենտրոններում (3-DC)
3-DC ճարտարապետությունը այլ ճանապարհով է գնում։ Առանձին կլաստերների փոխարեն այն հենվում է մեկ Kafka կլաստերի վրա, որը ձգված է երեք տվյալների կենտրոնների (կամ անկախ ձախողման տիրույթներով availability zone-ների) վրա։
Ինչպե՞ս է դա աշխատում։ Կա մեկ տրամաբանական Kafka կլաստեր, որի broker-ները և ZooKeeper-ը (կամ KRaft controller-ները) բաշխված են երեք տվյալների կենտրոնի վրա։
Ճիշտ կարգավորվելու դեպքում՝
- Յուրաքանչյուր partition ունի replica-ներ երեք DC-ներից յուրաքանչյուրում։
- Leader election-ը քվորում է պահանջում, այսինքն՝ ZooKeeper հանգույցների կամ KRaft controller-ների մեծամասնությունը (3-ից 2-ը) պետք է մնա հասանելի։
- Մեկ տվյալների կենտրոնի կորուստը կլաստերը չի կանգնեցնում։
- Failover-ը ավտոմատ է և client-ների համար անտեսանելի։
- Կլաստերների միջև offset-ները թարգմանելու կարիք չկա։
Մի խոսքով՝ RPO-ն և RTO-ն երկուսն էլ կարող են զրո լինել։
Բնականաբար, կան նաև որոշ թերություններ՝
- DC-ների միջև բարձր latency-ն վնասում է գրելու արդյունավետությանը։ Պահանջվում են DC-ների միջև կայուն, ցածր latency-ով կապեր։ Ճարտարապետությունը լավագույնս աշխատում է միմյանց մոտ գտնվող տվյալների կենտրոններով։
- Անհրաժեշտ է ավելի շատ սարքավորում (երեք տվյալների կենտրոն)։
- Cloud տեղակայումներում zone-ների/DC-ների միջև կրկնօրինակումը կարող է թանկ լինել։
Մեկ Kafka կլաստերը աշխարհագրորեն հեռու ռեգիոնների (օրինակ՝ Եվրոպա և ԱՄՆ) վրա ձգելը սովորաբար անիրագործելի է latency-ի և հասանելիության փոխզիջումների պատճառով։
2.5-DC Kafka ճարտարապետություն
2.5-DC Kafka ճարտարապետությունը stretched կլաստերի մոդելի տարբերակ է, որը պակաս ենթակառուցվածք է պահանջում, քան ամբողջական 3-DC տեղակայումը։
Ակնհայտ հարց է առաջանում՝ Ինչու պարզապես չձգել կլաստերը երկու տվյալների կենտրոնի վրա։
Պատասխանը մետատվյալների քվորումն է։ Kafka-ն (թե՛ ZooKeeper-ով, թե՛ KRaft-ով) պահանջում է մետատվյալների հանգույցների մեծամասնություն՝ partition leader-ներ ընտրելու և կլաստերը հետևողական պահելու համար։ Արդյունքում մետատվյալների շերտը պետք է ունենա քվեարկող հանգույցների կենտ թիվ։ Ընդամենը երկու տվյալների կենտրոնի դեպքում մեկի կորուստը նշանակում է քվորումի կորուստ, և կլաստերը դառնում է անհասանելի՝ split-brain սցենարները կանխելու համար։
2.5 DC կլաստերը սա լուծում է՝ մետատվյալների շերտը տեղադրելով երեք տվյալների կենտրոնում, իսկ տվյալները պահելով միայն երկուսում։ Գործնականում 3-րդ տվյալների կենտրոնը սովորաբար պահում է ընդամենը մեկ մեքենա (կամ VM)՝ մեկ KRaft instance-ով։
2.5 DC տարբերակը ապահովում է՝
- Երկու «լիարժեք» տվյալների կենտրոն (DC1 և DC2)։
- Մեկ թեթև երրորդ կայք (DC3)։
- DC3-ը մասնակցում է քվորումին, բայց տվյալների տրաֆիկ չի սպասարկում։ Այն ծառայում է որպես tiebreaker։
- RPO և RTO = 0, շատ նման 3-DC ճարտարապետությանը (ճիշտ կարգավորելու դեպքում)։
Այս բոլոր առավելությունները տալու համար Confluent-ը ավելացրել է լրացուցիչ մեխանիզմներ, որոնք ամրապնդում են այս կարգավորումը։
Kafka Observer Replica-ներ (միայն Confluent)
Observer replica-ն replica-ի հատուկ տեսակ է, որն առաջարկվում է Confluent տեղակայումներում։
Observer-ը՝
- Տվյալները պատճենում է ասինխրոն։
- Գրառման հաստատումների համար ISR-ի մաս չէ։
- Client տրաֆիկ չի սպասարկում։
- Գրելու latency-ի վրա չի ազդում այնպես, ինչպես լիարժեք replica-ները։
Observer replica-ները ավելացնում են դիմացկունություն և տեղաբաշխման ճկունություն՝ առանց բարձրացնելու գրելու քվորումի պահանջները։
Observer-ի ավտոմատ առաջխաղացում
Observer-ները կարող են ավտոմատ առաջխաղացվել լիարժեք replica-ի, երբ անհրաժեշտ է։ Ամենից հաճախ դա տեղի է ունենում, երբ partition-ը իջնում է կարգավորված min.insync.replicas-ից (min ISR)։ Այդ դեպքում՝
- Observer-ը հասնում է leader-ին։
- Այն առաջխաղացվում է լիարժեք replica-ի։
- Այն մտնում է ISR՝ վերականգնելով պահանջվող կրկնօրինակման երաշխիքները։
Երբ ձախողված follower-ը վերադառնում է և նորից միանում ISR-ին, observer-ը կարող է վերադառնալ իր սկզբնական դերին։ Այս մեխանիզմի շնորհիվ կլաստերը մնում է հասանելի գրելու համար նույնիսկ մասնակի ձախողումների ժամանակ։ Լիովին հասկանալու համար, թե ինչու է այս մեխանիզմը անհրաժեշտ, պետք է նայել ևս մեկ հասկացության։
Confluent-ի Placement Constraints
Confluent-ը թույլ է տալիս յուրաքանչյուր topic-ի համար նշել replica-ների տեղաբաշխման սահմանափակումներ։ Դրանցով կարելի է վերահսկել՝
- Յուրաքանչյուր տվյալների կենտրոնում քանի՞ replica է տեղադրվում։
- Յուրաքանչյուր տվյալների կենտրոնում քանի՞ observer է տեղադրվում։
- Ե՞րբ պետք է observer-ները առաջխաղացվեն լիարժեք replica-ների։
Ինչու են պետք ճիշտ տեղաբաշխմամբ observer-ները։ Ենթադրենք՝ ունենք 6 broker 2 DC-ում (յուրաքանչյուր DC-ում 3 broker)։ Ո՞ր Replication Factor-ը և min.ISR-ը պետք է օգտագործենք։
Production բեռնվածությունների համար Confluent-ը սովորաբար խորհուրդ է տալիս min.insync.replicas = 3, ուստի այդ արժեքը կընդունենք որպես հիմք։
Սցենար 1
- RF=4,
- min.isr = 3,
- observer-ներ չկան,
- տեղաբաշխման սահմանափակում չկա։
Այստեղ չենք կարող երաշխավորել, որ գրառումները կհաստատվեն երկու տվյալների կենտրոններում։
Քանի որ min.isr = 3, երեք հաստատումները կարող են գալ մեկ DC-ի replica-ներից։ Դա դիմացկունության ռիսկ է, եթե այդ DC-ն ձախողվի գրառումից անմիջապես հետո։
Սցենար 2
- RF=6,
- min.isr = 4,
- observer-ներ չկան,
- տեղաբաշխման սահմանափակում չկա։
Այստեղ producer-ները միշտ գրում են երկու DC-ների replica-ներում (օրինակ՝ 2+2 կամ 3+1 բաշխմամբ)։
Խնդիրը, սակայն, սկսվում է, երբ մեկ DC-ն ձախողվում է։
Մեկ տվյալների կենտրոնի անջատման դեպքում մնում է ընդամենը 3 broker։ Քանի որ min.isr = 4, գրառումներն այլևս հնարավոր չեն. կլաստերը դադարում է գրառումներ ընդունել։
Սցենար 3
- RF=6,
- min.isr = 3,
- observer-ներ չկան,
- տեղաբաշխման սահմանափակում չկա։
Այս դեպքը նման է Սցենար 1-ին։ Թեև երկու DC-ներն էլ replica-ներ ունեն, ոչինչ չի երաշխավորում, որ հաստատումները գալիս են երկու կայքերից։ DC-ների միջև դիմացկունությունը չի ապահովվում։
Սցենար 4
- RF=6,
- min.isr = 3,
- 2 observer,
- replica-ների տեղաբաշխման բացահայտ սահմանափակումներ։
Օրինակելի կոնֆիգուրացիա՝
{
"version": 2,
"replicas": [
{
"count": 2,
"constraints": {
"rack": "dc1"
}
},
{
"count": 2,
"constraints": {
"rack": "dc2"
}
}
],
"observers": [
{
"count": 1,
"constraints": {
"rack": "dc1"
}
},
{
"count": 1,
"constraints": {
"rack": "dc2"
}
}
],
"observerPromotionPolicy":"under-min-isr"
}
Այս կոնֆիգուրացիայով յուրաքանչյուր DC-ն հյուրընկալում է՝
- երկու սինխրոն replica,
- մեկ observer։
Ինչը տալիս է՝
- DC 1: Leader, Follower, Observer
- DC 2: Երկու Follower, Observer
Նորմալ աշխատանքի ժամանակ՝
- Գրառումները պահանջում են առնվազն երեք replica-ի հաստատում (min.isr = 3)։
- Տեղաբաշխման սահմանափակումները ապահովում են, որ replica-ները բաշխված լինեն երկու DC-ների վրա։
Եթե ամբողջ տվյալների կենտրոնը ձախողվում է՝
- Մնացած DC-ի observer-ը առաջխաղացվում է լիարժեք replica-ի։
- ISR-ը վերադառնում է պահանջվող չափին, ուստի min.isr սահմանափակումը կրկին բավարարվում է։
- Գրառումները կարող են շարունակվել՝ առանց դիմացկունության երաշխիքները խախտելու։
Այս դիզայնը տալիս է ուժեղ դիմացկունության երաշխիքներ և կլաստերը պահում է գրելի թե՛ մասնակի, թե՛ ամբողջական տվյալների կենտրոնի ձախողումների ժամանակ։
Kafka-ի բազմարեգիոն կրկնօրինակման մեխանիզմներ
Բազմարեգիոն Kafka ճարտարապետություն նախագծելը ինքնին բարդ գործ է։ Երբ որոշել եք active-passive կամ active-active կարգավորման մասին, հաջորդ կարևոր ընտրությունը կրկնօրինակման մեխանիզմն է։
Ի տարբերություն կլաստերի ներսում կրկնօրինակման, միջռեգիոնային կրկնօրինակումը ներկառուցված չէ Apache Kafka broker-ում։ Փոխարենը այն մշակվում է հատուկ կրկնօրինակման գործիքներով։
Ամենաշատ օգտագործվողները՝
- MirrorMaker 2,
- Confluent Replicator,
- Cluster Linking (Confluent)։
MirrorMaker 2
MirrorMaker 2-ը (MM2) Kafka կլաստերների միջև տվյալների կրկնօրինակման ստանդարտ բաց կոդով գործիքն է։
Այն հիմնված է Kafka Connect-ի վրա և ներկայացվել է որպես սկզբնական MirrorMaker-ի բարելավված տարբերակ։
MirrorMaker 2-ը կարդում է տվյալներ աղբյուր կլաստերի topic-ներից և գրում դրանք թիրախ կլաստերում՝ շատ նման տիպիկ Source և Sink Kafka Connect connector-ներին։ Կրկնօրինակումը ասինխրոն է, և MM2-ը գործարկելը նշանակում է Kafka Connect կլաստեր շահագործել և մոնիթորինգ անել։
MirrorMaker 2-ի հետ աշխատանքի ամենադժվար մասը consumer offset-ների մշակումն է։
Թիրախ կլաստեր կրկնօրինակված հաղորդագրությունները ստանում են offset-ներ, որոնք տարբերվում են աղբյուր կլաստերի offset-ներից։ Ուստի երբ failover է տեղի ունենում, consumer-ները չեն կարող պարզապես տեղափոխվել երկրորդային տվյալների կենտրոն և շարունակել նույն թվային offset-ից։
Confluent Replicator
Confluent Replicator-ը աշխատում է շատ նման MirrorMaker 2-ին, միայն թե այն Confluent-ի կոմերցիոն արտադրանք է։
Այն նույնպես հիմնված է Kafka Connect-ի վրա և սերտորեն ինտեգրված է Confluent էկոհամակարգին։
MirrorMaker 2-ի համեմատ՝ Replicator-ը՝
- Գալիս է enterprise աջակցությամբ։
- Առաջարկում է լրացուցիչ գործառնական գործիքակազմ։
- Սովորաբար հանդիպում է Confluent Platform տեղակայումներում։
Ճարտարապետական տեսանկյունից, սակայն, այն դեռ կախված է ասինխրոն կրկնօրինակումից և պահանջում է Kafka Connect կլաստեր գործարկել։
Cluster Linking
Cluster Linking-ը Confluent-ի ևս մեկ կրկնօրինակման մեխանիզմ է, բայց դրա դիզայնը սկզբունքորեն տարբեր է։ MirrorMaker 2-ից կամ Replicator-ից տարբերվելով՝ Cluster Linking-ը ներկառուցված է անմիջապես Confluent Platform broker-ների մեջ։ Արդյունքում՝
- Առանձին Kafka Connect կլաստեր պետք չէ։
- Կրկնօրինակումը կատարվում է broker-ի մակարդակում։
Cluster Linking-ը՝
- Topic-ները արտացոլում է անմիջապես broker-ների վրա։
- Պահպանում է topic-ի ինքնությունը։
- Պահպանում է offset-ները։
- Աշխատում է ավելի արագ, քան Replicator-ը։
Արտաքին կրկնօրինակման connector-ների անհրաժեշտությունը վերացնելով՝ Cluster Linking-ը պարզեցնում է ճարտարապետությունը և վերացնում է MirrorMaker 2-ի ամենամեծ գործառնական թերություններից մեկը։
Confluent Platform կամ Confluent Cloud տեղակայումներում Cluster Linking-ը սովորաբար այն կրկնօրինակման մեխանիզմն է, որը խորհուրդ է տրվում Confluent Replicator-ի փոխարեն։
Offset-ները և disaster recovery-ն
Աղետի ժամանակ offset-ների կառավարումը ամենադժվար մարտահրավերներից է թե՛ active-passive, թե՛ active-active ճարտարապետություններում։
Ինչպես նշվել է, MirrorMaker 2-ը և Confluent Replicator-ը կրկնօրինակման ժամանակ փոխում են հաղորդագրությունների offset-ները։ Cluster Linking-ը խուսափում է այդ կոնկրետ թերությունից, բայց մնում է մեկ կարևոր վերապահում. այս բոլոր մեխանիզմներն ասինխրոն են, ուստի տվյալների կորուստ կարող է տեղի ունենալ։
Ինչպե՞ս կարող է տվյալների կորուստ տեղի ունենալ
Դիտարկենք հետևյալ սցենարը՝
Կան երկու ռեգիոն՝
- Region A (առաջնային)
- Region B (failover)
Կրկնօրինակումը կատարում է Cluster Linking-ը։
- Region A-ում կա 1000 հաղորդագրություն։
- Region B-ն կարողացել է կրկնօրինակել դրանցից միայն 950-ը (կրկնօրինակման ուշացման պատճառով)։
- Region A-ն անջատվում է։
- Անցնում ենք Region B։
- Region B-ում արտադրվում են նոր հաղորդագրություններ և պահվում են 951, 952 և հետագա offset-ներում։
- Region A-ն վերադառնում է։
- Ուզում ենք failback անել Region A։
Cluster Linking-ը հիմա կրկին կհամաժամեցնի տվյալները։ Սակայն Region A-ի սկզբնական հաղորդագրությունները 951-ից 1000 offset-ներում կարող են վերագրվել Region B-ում արտադրված ավելի նոր հաղորդագրություններով։
Արդյունք՝ կորչում է մոտ 50 հաղորդագրություն։
Կորած հաղորդագրությունների ճշգրիտ քանակը կախված է նրանից, թե որքան մեծ էր ռեգիոնների միջև կրկնօրինակման ուշացումը ձախողման պահին։
Ինչպե՞ս կարելի է կանխել տվյալների կորուստը
1. Ընտրեք այլ ճարտարապետություն
Կարող եք ընտրել ճարտարապետություն, որն առաջարկում է սինխրոն կրկնօրինակում ռեգիոնների միջև (օրինակ՝ stretched կլաստերներ)։ Սա մեծապես նվազեցնում է կամ ամբողջովին վերացնում միջռեգիոնային տվյալների կորուստը՝ ի փոխարեն ավելի բարձր latency-ի և գործառնական բարդության։
2. Իրականացրեք վերահսկվող replay մեխանիզմ
Եթե ասինխրոն կրկնօրինակումը անխուսափելի է, failover-ի համար պետք է լրացուցիչ անվտանգության ցանց։
Գործնական տարբերակ է վերահսկվող producer replay պատուհանների իրագործումը։
Այս մոդելում՝
- Production հավելվածները պահում են իրենց ուղարկած վերջին X հաղորդագրությունները (X-ը ավելի մեծ է, քան սպասվող ամենաբարձր կրկնօրինակման ուշացումը)։
- Failover-ից կամ failback-ից հետո producer-ները կարող են այդ հաղորդագրությունները նորից ուղարկել ըստ պահանջի։
Այս մոտեցումը պահանջում է՝
- Consumer-ները լինեն idempotent
- Ներքևի համակարգերը հանդուրժեն կրկնօրինակների մշակումը
Այն պատասխանատվության մի մասը ենթակառուցվածքից տեղափոխում է հավելվածի տրամաբանություն, բայց զգալիորեն ամրապնդում է դիմադրողականությունը կրկնօրինակման ուշացումից առաջացած տվյալների կորստի դեմ։
Kafka-ի disaster recovery-ի թեստավորում
Kafka disaster recovery ճարտարապետության ընտրությունը միայն առաջին քայլն է։
Active-passive, active-active, 3-DC կամ 2.5-DC կարգավորումներ թղթի վրա նկարելը չի երաշխավորում, որ դրանք նախատեսված կերպով կվարվեն իրական ձախողումների ժամանակ։ Ճարտարապետությունը արտահայտում է մտադրությունը. թեստավորումը հաստատում է իրականությունը։ Պետք է ստուգել, որ համակարգն իսկապես վարվում է ձեր սահմանած RPO-ին և RTO-ին համապատասխան։ Դա նշանակում է դիտավորյալ անցնել ձախողման սցենարներով, այլ ոչ թե միայն խոսել դրանց մասին դիզայնի հանդիպումներում։
Սկսեք մասնակի ձախողումներից
Սկսեք փոքր, վերահսկվող խափանումների թեստավորումից՝
- broker-ների վթարներ,
- սկավառակների ձախողումներ,
- leader-ների վերընտրություններ,
- KRaft controller-ների ձախողումներ,
- սխալ ընթացող rolling restart-ներ։
Այս սցենարները հաստատում են կլաստերի ներսում ձեր կրկնօրինակման երաշխիքները և գործառնական պատրաստվածությունը։
Ապա անցեք ավելի խանգարող սցենարների
Դրանից հետո թեստավորեք միջռեգիոնային տրաֆիկի և կրկնօրինակման հետ կապված ձախողումները՝
- ռեգիոնների միջև ցանցի ժամանակավոր վատթարացում,
- տվյալների կենտրոնների միջև կապի լիակատար կորուստ,
- կրկնօրինակման գործընթացի ձախողումներ,
- Kafka Connect-ի կամ Cluster Linking-ի ընդհատումներ։
Այս սցենարները բացահայտում են, թե ինչպես է վարվում կրկնօրինակման ուշացումը, offset-ների համաժամեցման ցանկացած խնդիր և թե ինչպես են client-ները նորից միանում։
Վերջապես՝ թեստավորեք լայնածավալ աղետները
Մոդելավորեք ամենավատ դեպքերը՝
- ամբողջ availability zone-ի անջատում,
- ամբողջ տվյալների կենտրոնի ձախողում,
- առաջնային ռեգիոնի հանկարծակի կորուստ։
Միայն այդ պահին կարող եք հաստատել, թե ձեր ճարտարապետությունն իսկապես հասնում է իր disaster recovery նպատակներին։
Disaster Recovery պլան
Յուրաքանչյուր սցենարի համար պետք է՝
- Չափել իրական RPO-ն (տվյալների որքանն է կորել կամ replay արվել)։
- Չափել իրական RTO-ն (որքան ժամանակ տևեց producer-ների և consumer-ների լիովին վերականգնումը)։
- Ստուգել, որ consumer offset-ները ճիշտ են։
- Իրականացնել փաստաթղթավորված failover ընթացակարգերը։
- Անցնել վերականգնման և failback քայլերով։
Նույնքան կարևոր է փորձել հետևյալը՝
- տրաֆիկի փոխարկում (DNS, load balancer-ներ, service mesh),
- consumer group-ների միգրացիա,
- offset-ների վավերացման կամ հետ պտտելու տրամաբանություն,
- կլաստերների վերակառուցման և վերաինտեգրման ընթացակարգեր։
Disaster recovery պլանը վստահելի է միայն այն բանից հետո, երբ կատարվել է սկզբից մինչև վերջ։ Failover-ը թեստավորելը բավարար չէ. պետք է թեստավորել նաև վերականգնման և restore աշխատանքային հոսքերը։
Ամփոփում և հիմնական եզրակացություններ
Apache Kafka-ի համար disaster recovery-ի և բազմարեգիոն ճարտարապետության նախագծումը կրկնօրինակումը միացնելու և լավագույնին հուսալու մասին չէ։ Խոսքը գիտակցված հավասարակշռության մասին է՝
- RPO և RTO,
- latency և դիմացկունություն,
- բարդություն և գործառնական հասունություն,
- արժեք և դիմադրողականություն։
Ճարտարապետական յուրաքանչյուր օրինաչափություն՝ active-passive, active-active, 3-DC կամ 2.5-DC, լուծում է այլ խնդիր։ Դրանցից ոչ մեկը ճիշտ չէ բոլոր դեպքերում։
Որ լուծումն է ճիշտ, կախված է՝
- ձեր բիզնեսի անընդհատության պահանջներից,
- տվյալների որքան կորուստ կարող եք հանդուրժել,
- ինչ վերականգնման ժամանակներ եք սպասում,
- ձեր գործառնական հնարավորություններից։
Ամենից առաջ՝ disaster recovery-ն կոնֆիգուրացիա չէ, այլ պրակտիկա։
Այն պահանջում է՝
- բացահայտ ճարտարապետական որոշումներ,
- կարգապահ կոնֆիգուրացիա,
- observability,
- ավտոմատացում,
- և կանոնավոր անցկացվող failover վարժանքներ։
Kafka-ն հաճախ դառնում է առաքելության համար կրիտիկական համակարգերի ողնաշար։ Դրա disaster recovery ռազմավարությունը որպես երկրորդական հարց դիտարկելը կազմակերպության թույլ տալու ամենաթանկ ճարտարապետական սխալներից է։
Օգնությո՞ւն է պետք ձեր Kafka DR ճարտարապետությունը նախագծելու կամ վավերացնելու համար
Production մակարդակի բազմարեգիոն Kafka ճարտարապետություն կառուցելը, և հաստատելը, որ այն իսկապես հասնում է ձեր RPO և RTO նպատակներին, պահանջում է թե՛ բաշխված համակարգերի գիտելիք, թե՛ գործնական գործառնական փորձ։
Մենք Confluent Elite Partner ենք և աջակցում ենք կազմակերպություններին՝
- նախագծել Kafka disaster recovery ռազմավարություններ ինչպես բաց կոդով Kafka-ի, այնպես էլ Confluent Platform-ի համար,
- իրականացնել բազմարեգիոն ճարտարապետություններ (ներառյալ 3-DC և 2.5-DC կարգավորումները),
- վավերացնել failover ընթացակարգերը,
- անվտանգ կերպով միգրացիա անել կլաստերների և ռեգիոնների միջև,
- անցկացնել իրական disaster recovery թեստեր։
Եթե պլանավորում եք բազմարեգիոն Kafka տեղակայում կամ ցանկանում եք վերանայել ձեր ընթացիկ disaster recovery կարգավորումը, մի հապաղեք կապ հաստատել մեզ հետ։
Մենք սիրով կօգնենք համոզվել, որ ձեր ճարտարապետությունը դիմանում է ոչ միայն դիագրամների վրա, այլ նաև երբ իրական ձախողումներ են տեղի ունենում։