Գնահատել նախագիծը
← Բոլոր հրապարակումները

Apache Kafka-ի replica follower-ները սինխրո՞ն են, թե ասինխրոն

Մանրամասն ակնարկ այն մասին, թե ինչպես է աշխատում Apache Kafka-ի ռեպլիկացիան՝ համեմատած commit սեմանտիկայի հետ, պարզաբանելով, թե ինչով են ISR follower-ները տարբերվում Confluent observer-ներից։

8 րոպե
KafkaApache KafkaconfluentՌեպլիկացիա

Apache Kafka-ի follower ռեպլիկաները սինխրո՞ն են ռեպլիկացվում, թե ասինխրոն։

Հարցը պարզ է թվում, բայց դա Kafka-ի այն թեմաներից է, որտեղ տարբեր աղբյուրներ հաճախ թվում է՝ հակառակ բաներ են ասում։ Kafka-ի բազմաթիվ դասընթացներ, սերտիֆիկացման դասընթացներ և ներածական բացատրություններ պնդում են, որ Kafka-ի ռեպլիկացիան ասինխրոն է։ Միևնույն ժամանակ Confluent Platform-ի փաստաթղթերը Multi-Region Clusters-ի և multi-data-center ճարտարապետությունների մասին խոսում են սինխրոն և ասինխրոն ռեպլիկաների մասին։ Replica placement-ի տերմինաբանությամբ՝ replicas-ը սինխրոն ռեպլիկաներ են, իսկ observers-ը՝ ասինխրոն ռեպլիկաներ։

Ուրեմն ո՞ր պատասխանն է ճիշտ

Կարճ ասած՝ դա կախված է նրանից, թե ինչ նկատի ունեք

Ցածր մակարդակի ռեպլիկացիայի մեխանիզմի տեսանկյունից Kafka-ի follower-ները ռեպլիկացվում են՝ տվյալները leader-ից վերցնելով (fetch)։ Նրանք կարող են հետ մնալ, դուրս գալ ISR-ից և հետո նորից հասնել։ Այսպես նայելիս հասկանալի է, թե ինչու են մարդիկ Kafka-ի follower ռեպլիկացիան անվանում ասինխրոն։

Kafka-ի commit և դիմացկունության (durability) սեմանտիկայի տեսանկյունից in-sync replica set-ին կամ ISR-ին պատկանող follower-ները գտնվում են գրելու սինխրոն ուղու վրա, երբ producer-ները օգտագործում են acks=all։ Հաղորդագրությունը համարվում է commit արված միայն այն ժամանակ, երբ ISR-ի պահանջները կատարվել են։ Այսպես նայելիս ISR-ում գտնվող Kafka-ի follower-ները սինխրոն ռեպլիկաներ են։

Այս տարբերությունը առավել կարևոր է Confluent Platform-ի stretched cluster և 2.5 data center ճարտարապետություններում, որտեղ տերմինաբանությունը հստակ ձևակերպված է. սովորական ռեպլիկաները սինխրոն ռեպլիկաներ են, իսկ observer-ները լռելյայն ասինխրոն ռեպլիկաներ են։

Շփոթության աղբյուրը

Շփոթությունը սովորաբար առաջանում է այն պատճառով, որ մեկ բառ՝ սինխրոն, օգտագործվում է երկու առանձին հարցի պատասխանելու համար.

  1. Ինչպե՞ս են տվյալները ֆիզիկապես ռեպլիկացվում broker-ների միջև։
  2. Ո՞ր պահից է գրառումը համարվում commit արված կամ հաստատված (acknowledged)։

Ռեպլիկացիայի մեխանիկա. ինչու է Kafka-ն թվում ասինխրոն

Առաջին հարցին նայելիս Kafka-ի ռեպլիկացիան թվում է ասինխրոն։ Follower-ները գրառումները քաշում են leader-ից։ Leader-ը յուրաքանչյուր գրառումը չի հրում յուրաքանչյուր follower-ին երկփուլ commit-ի ոճով lock-step արձանագրությամբ։ Follower-ները կարող են ժամանակավորապես հետ մնալ leader-ից։ Follower-ը կարող է կենդանի լինել, բայց բավարար չափով չհասած։ Follower-ը կարող է հանվել ISR-ից և ավելի ուշ վերամիանալ, երբ հասել է։

Ահա թե ինչու ուսուցողական նյութերը հաճախ Kafka-ի ռեպլիկացիան նկարագրում են որպես ասինխրոն. նրանք խոսում են այն մասին, թե ինչպես են տվյալները տեղափոխվում։

Commit սեմանտիկա. ինչու են ISR follower-ները սինխրոն

Երկրորդ հարցը, սակայն, տանում է այլ պատասխանի։ Kafka-ի սեփական դիզայնի փաստաթղթերը նշում են, որ հաղորդագրությունը համարվում է commit արված միայն այն ժամանակ, երբ տվյալ partition-ի ISR-ի յուրաքանչյուր ռեպլիկա այն կիրառել է իր լոգում։ Kafka 4.3-ի փաստաթղթերը ավելացնում են, որ consumer-ները կարող են տեսնել հաղորդագրությունները միայն այն բանից հետո, երբ դրանք ռեպլիկացվել են բոլոր in-sync ռեպլիկաներին, և min.insync.replicas պայմանը բավարարվել է։ Տե՛ս Apache Kafka 4.3-ի փաստաթղթերը message delivery semantics-ի և min.insync.replicas-ի մասին։

Ճշգրիտ պնդումը, ուրեմն, ոչ թե պարզապես «Kafka-ի follower-ները ասինխրոն են» է կամ «Kafka-ի follower-ները սինխրոն են»։ Ավելի լավ է ձևակերպել այսպես.

Մեխանիկորեն Kafka-ի follower ռեպլիկացիան թվում է ասինխրոն, քանի որ follower-ները տվյալները fetch են անում և կարող են հետ մնալ, բայց երբ producer-ը օգտագործում է acks=all, ISR follower-ները մասնակցում են սինխրոն commit սեմանտիկային։

Ինչ է իրականում տեղի ունենում Kafka-ում գրելիս

Kafka-ի յուրաքանչյուր topic partition ունի մեկ leader ռեպլիկա և զրո կամ ավելի follower ռեպլիկա։ Producer-ները գրում են leader-ին, որը որոշում է partition-ի լոգում գրառումների կարգը։ Follower-ները ռեպլիկացնում են leader-ի լոգը։

Պարզեցված տեսքով գրելու ուղին այսպիսին է.

  1. Producer-ը produce հարցում է ուղարկում partition-ի leader-ին։
  2. Leader-ը գրառումները ավելացնում է իր տեղային լոգում։
  3. Follower ռեպլիկաները գրառումները fetch են անում leader-ից։
  4. Kafka-ն հետևում է, թե որ ռեպլիկաներն են բավարար չափով հասել. միասին դրանք կազմում են ISR-ը։
  5. Երբ ISR-ի վրա հիմնված commit-ի պահանջները կատարվում են, high watermark-ը առաջ է շարժվում։
  6. Consumer-ները կարդում են միայն commit արված գրառումներ։
  7. acks=all-ի դեպքում producer-ը ստանում է հաջող հաստատում միայն այն ժամանակ, երբ գրառումը բավարարել է ISR-ի պահանջները։

Առանցքային կետն այն է, որ նշանակված ռեպլիկաները ոչ բոլորը միշտ նույն դերն են խաղում։ ISR-ի ներսում գտնվող follower-ը նպաստում է դիմացկունության երաշխիքին։ ISR-ից դուրս գտնվող follower-ը շարունակում է ռեպլիկա մնալ, բայց այլևս չի մասնակցում ընթացիկ commit որոշմանը։

Հենց այստեղ է գործի մեջ մտնում min.insync.replicas-ը։ Kafka 4.3-ի broker-ի կոնֆիգուրացիայի փաստաթղթերի համաձայն՝ min.insync.replicas-ը սահմանում է in-sync ռեպլիկաների նվազագույն թիվը՝ leader-ը ներառյալ, որն անհրաժեշտ է գրառման հաջողության համար, երբ producer-ը սահմանում է acks=all կամ acks=-1։ Այն նաև նշում է, որ acks=all-ի դեպքում ISR-ի բոլոր ընթացիկ անդամները պետք է հաստատեն գրառումը, նախքան այն հաջող համարվելը։ Տե՛ս Kafka 4.3 broker configs-ի min.insync.replicas-ը։

Դիտարկենք, օրինակ, topic, որը կարգավորված է հետևյալ կերպ.

replication.factor=3
min.insync.replicas=2
producer acks=all

Երբ ISR-ը պարունակում է բավարար ռեպլիկաներ, Kafka-ն կարող է հաստատել գրառումը, հենց որ ISR-ի կանոնները կատարվեն։ Երբ ISR-ը իջնում է min.insync.replicas-ից ցածր, producer-ը ստանում է սխալ՝ հաջող հաստատման փոխարեն։ Սա դիմացկունության/հասանելիության փոխզիջումն է, որը կառավարվում է acks-ով և min.insync.replicas-ով։

Ինչու են follower-ները հաճախ անվանվում ասինխրոն

Follower-ները սովորաբար նկարագրվում են որպես ասինխրոն, որովհետև Kafka-ն չի պահանջում, որ յուրաքանչյուր նշանակված ռեպլիկա ամեն պահի լիովին թարմ լինի։

Մի շարք փաստեր հաստատում են այս տեսակետը.

  • Follower-ները տվյալները fetch են անում leader-ից։
  • Follower-ները կարող են հետ մնալ leader-ից։
  • Բավարար չափով չհասած follower-ները կարող են հանվել ISR-ից։
  • Follower-ները կարող են ավելի ուշ հասնել և վերամիանալ ISR-ին։
  • Producer-ները կարող են ընտրել հաստատման ավելի թույլ ռեժիմներ, օրինակ acks=1, որի դեպքում leader-ը հաստատում է իր տեղային գրառումից հետո՝ առանց սպասելու, որ follower-ները ռեպլիկացնեն տվյալները։

Այս տեսանկյունից «Kafka-ի ռեպլիկացիան ասինխրոն է» պնդումը ողջամիտ է. այն նկարագրում է, թե ինչպես է ռեպլիկացիան մեխանիկորեն աշխատում։

Այդ պնդումը, սակայն, մոլորեցնող է դառնում, եթե բաց է թողնում ISR-ը և producer-ի հաստատումները։ acks=all-ի դեպքում in-sync follower-ը պարզապես պասիվ պատճեն չէ, որ պահվում է ետին պլանում։ Այն այն պայմանի մաս է, որը պետք է կատարվի, մինչև producer-ը ստանա հաջող հաստատում և մինչև գրառումը commit արված տվյալի տեսքով տեսանելի դառնա։

Ճշգրիտ ասած.

Kafka-ի follower-ները սինխրոն չեն կատարյալ lock-step ֆիզիկական ռեպլիկացիայի իմաստով։ Նրանք սինխրոն են այն իմաստով, որ acks=all գրառումների համար ISR follower-ները պատկանում են commit ուղուն։

Ինչու է Confluent 2.5 DC փաստաթղթերը follower-ներին անվանում սինխրոն

Confluent Platform-ի Multi-Region Clusters-ը տերմինաբանությունը դարձնում է ավելի հեշտ հասկանալի։

Confluent-ը ավելացնում է ռեպլիկայի երրորդ տեսակ՝ observer-ը։ Ավանդաբար Kafka-ն ուներ leader-ներ և follower-ներ. Multi-Region Clusters-ը դրա վրա ավելացնում է observer-ներ։ Observer-ները լռելյայն չեն միանում ISR-ին, բայց, ինչպես follower-ները, փորձում են համընթաց քայլել leader-ի հետ։

Ահա առանցքային տարբերությունը.

  • ISR-ի ներսում գտնվող սովորական ռեպլիկան սինխրոն ռեպլիկա է։
  • Observer-ը լռելյայն ասինխրոն ռեպլիկա է։

Confluent-ի փաստաթղթերի համաձայն՝ observer-ները հնարավոր են դարձնում ասինխրոն ռեպլիկացիան, որովհետև լռելյայն մնում են ISR-ից դուրս։ Leader-ը պարտավոր չէ սպասել observer-ներին՝ producer-ին հարցումը հաստատելուց առաջ։ Տե՛ս Confluent-ի փաստաթղթերի Observers բաժինը։

Նույն տերմինները օգտագործվում են replica placement-ում։ replicas դաշտը պարունակում է սինխրոն ռեպլիկաների սահմանափակումները, իսկ observers դաշտը՝ ասինխրոն ռեպլիկաների սահմանափակումները։ Confluent-ի օրինակներից մեկը նկարագրում է topic՝ երեք սինխրոն ռեպլիկայով մեկ ռեքի մեջ և երկու observer-ով՝ մեկ այլ ռեքի մեջ։ acks=all օգտագործող producer-ը հաստատում է ստանում, երբ սինխրոն ռեպլիկաները ռեպլիկացրել են հաղորդագրությունը. observer-ները նույնպես ռեպլիկացնում են տվյալները, բայց leader-ը նրանց չի սպասում։

Ահա թե ինչու Confluent-ի նյութերը կարող են follower-ներին նկարագրել որպես սինխրոն, իսկ observer-ներին՝ որպես ասինխրոն։ Նրանք չեն ասում, որ follower-ները երբեք հետ չեն մնում։ Նրանք ռեպլիկաները դասակարգում են ըստ այն բանի, թե արդյոք դրանք սովորաբար մասնակցում են ISR-ի վրա հիմնված հաստատման ուղուն։

2.5 data center stretched cluster համատեքստը

Confluent Platform-ում stretched 2.5 data center ճարտարապետությունը բաղկացած է երկու լիարժեք աշխատող data center-ից և մեկ թեթև, կամ «0.5», data center-ից։

Երկու լիարժեք data center-ներն էլ հյուրընկալում են Confluent Server node-եր, որոնք կարգավորված են որպես broker-ներ և controller-ներ։ Թեթև երրորդ կայքը հյուրընկալում է KRaft controller node-երի ենթաբազմություն՝ controller quorum-ը պահպանելու համար։ Դա լիարժեք data center չէ՝ մյուս երկու կայքերի broker հզորությանը հավասար հզորությամբ։

Այս ճարտարապետության համար Confluent-ը նկարագրում է RPO-ն որպես կոնֆիգուրացիայից կախված։ Փաստաթղթերի համաձայն՝ RPO=0-ին հասնելու համար պահանջվում են ռեպլիկաներ առնվազն երկու data center-ում, և min.insync.replicas-ը պետք է գերազանցի ռեպլիկաների թիվը ցանկացած մեկ data center-ում։ Փաստաթղթերը նաև նշում են, որ դա աշխատելու համար producer-ները պետք է օգտագործեն acks=all։ Տե՛ս Confluent Platform-ի փաստաթղթերը Stretched Cluster 2.5 Data Center-ի մասին։

Այս համատեքստում «սինխրոն» բառը դառնում է բիզնեսի համար կարևորագույն։ Եթե գրառումը կարող է հաստատվել միայն այն ժամանակ, երբ տարբեր data center-ներում բավարար թվով ռեպլիկաներ այն պահպանել են, այդ ռեպլիկաները RPO=0-ի առումով սինխրոն են։ Կլաստերը հենվում է ISR-ի վրա հիմնված commit սեմանտիկայի վրա՝ երաշխավորելու համար, որ հաջող գրառումը կդիմանա ամբողջ data center-ի կորստին։

Observer-ները դեռ կարող են արժեքավոր լինել այս ճարտարապետությունում, հատկապես automatic observer promotion-ի դեպքում։ Լռելյայն, սակայն, observer-ները ISR-ում չեն և սովորական producer հաստատման ուղու մաս չեն։ Նրանք առաջարկում են ասինխրոն պատճեն, որը կարող է օգնել failover և վերականգնման սցենարներում՝ առանց յուրաքանչյուր գրառման վրա նույն latency-ի գինը դնելու։

Ամփոփում

Ուրեմն, Apache Kafka-ի follower-ները սինխրո՞ն են ռեպլիկացվում, թե ասինխրոն։

Ամենաճշգրիտ պատասխանն է.

Ռեպլիկացիայի մեխանիկայի առումով Kafka-ի follower-ները ասինխրոն են, բայց acks=all գրառումների commit սեմանտիկայի առումով ISR follower-ները սինխրոն են։

Սա լուծում է Kafka-ի հանրաճանաչ ուսուցողական նյութերի և Confluent Multi-Region Cluster փաստաթղթերի միջև թվացյալ հակասությունը։

Ուսուցողական նյութերը հաճախ ասում են «ասինխրոն», որովհետև follower-ները fetch են անում leader-ից, կարող են հետ մնալ և կարող են ավելի ուշ հասնել։ Դա պնդում է այն մասին, թե ինչպես է ռեպլիկացիան ֆիզիկապես տեղի ունենում։

Confluent-ի փաստաթղթերը replicas-ը անվանում են սինխրոն, իսկ observers-ը՝ ասինխրոն, որովհետև ռեպլիկաները դասակարգում են ըստ այն բանի, թե արդյոք դրանք մասնակցում են ISR-ի վրա հիմնված հաստատման ուղուն։ Դա պնդում է commit սեմանտիկայի և multi-region դիմացկունության մասին։

Սովորական Kafka կլաստերում էական տերմինը ISR-ն է։ Confluent Multi-Region Cluster-ում էական տարբերությունը replica vs observer-ն է։

Կարճ ամփոփելու համար.

Kafka-ի ռեպլիկացիայի մեխանիզմը pull-based է և կարող է ցուցաբերել հետ մնալ, ահա թե ինչու է հաճախ անվանվում ասինխրոն։ Բայց երբ producer-ները օգտագործում են acks=all, in-sync follower ռեպլիկաները պատկանում են Kafka-ի սինխրոն commit ուղուն։ Ահա թե ինչու Confluent-ի stretched cluster և 2.5 DC ճարտարապետություններում follower-ները համարվում են սինխրոն ռեպլիկաներ, իսկ observer-ները՝ ասինխրոն ռեպլիկաներ։

Փաստաթղթերի հղումներ