Confluent Stretched Cluster 2.5-ում in-sync replicas-ի և replication factor-ի բացատրությունը
Պարզեք, թե ինչպես սահմանել in-sync replicas (ISR) և replication factor (RF) Confluent Stretched Cluster 2.5-ում՝ տվյալների առավելագույն դիմացկունության, տվյալների կենտրոնների միջև կայունության և սխալների հանդեպ տոլերանտության համար։ Տեսեք, թե ինչպես են replication-ի կարգավորումները, observer-ները և observer-ների ավտոմատ առաջխաղացումը ազդում հասանելիության և արդյունավետության վրա՝ open-source Kafka-ի համեմատ։
Երբ Kafka-ն դեպլոյ է արված մի քանի տվյալների կենտրոնում, տվյալների դիմացկունությունն ու հասանելիությունը խափանումների դեպքում պահպանելը պահանջում է զգույշ փոխզիջում հետևողականության և արդյունավետության միջև։
Confluent Stretched Cluster 2.5 ճարտարապետությունը ներմուծում է այնպիսի մեխանիզմներ, ինչպիսիք են observer-ները և observer-ների ավտոմատ առաջխաղացումը (AOP), որոնք ապահովում են կայունություն տվյալների կենտրոնների միջև՝ պահպանելով ցածր շահագործման բարդություն։
Այս գրառման մեջ բացատրում եմ, թե ինչ են անում replication.factor (RF) և min.insync.replicas (min.ISR) կարգավորումները Confluent Platform Stretched Cluster-ում, ինչպես են ազդում հասանելիության վրա և ինչով է Confluent-ի իրականացումը տարբերվում open-source Apache Kafka-ից։
Ի՞նչ է Stretched Cluster 2.5-ը
Stretched cluster 2.5-ը Kafka-ի դեպլոյմենտ է, որտեղ բրոքերները աշխատում են երկու լիովին ֆունկցիոնալ տվյալների կենտրոններում (DC), իսկ երրորդ՝ թեթև կայքը գործարկում է միայն մետատվյալների սերվիսները՝ ավանդաբար ZooKeeper, կամ Confluent Platform-ի վերջին տարբերակներում՝ KRaft կոնտրոլերների քվորում։
Բրոքերները պահում են partition-ների ռեպլիկաները, և յուրաքանչյուր ռեպլիկա ստանձնում է երեք դերերից մեկը՝
- Leader – սպասարկում է կլիենտների հարցումները (producer-ներ/consumer-ներ) կոնկրետ partition-ի համար։
- Follower – պահում է partition-ի սինխրոն ռեպլիկա։
- Observer – պահում է ասինխրոն ռեպլիկա, որը լռելյայն ISR-ի մաս չէ (Confluent Blog)։
ISR (In-Sync Replicas) ցանկը պարունակում է այն բրոքերները, որոնք լիովին հասել են leader-ին։
min.insync.replicas կարգավորումը նշում է, թե ISR-ի քանի անդամ պետք է հաստատի գրանցումը (acks=all-ով), մինչև այն համարվի commit արված։
Observer-ների և stretched cluster-ների հետ աշխատելու համար անհրաժեշտ է թոփիք ստեղծելիս սահմանել ռեպլիկաների քանակը, ապա տրամադրել confluent.placement.constraints, որը որոշում է՝ յուրաքանչյուր ռեպլիկան որտեղ է տեղադրվում և ինչ դեր է ստանձնում։
Կարգավորումների տարբեր սցենարներ
Սցենար 1 – RF = 4, min.ISR = 2
Ենթադրենք, ուզում ենք յուրաքանչյուր partition-ի 4 ռեպլիկա (RF=4)՝ երկուական յուրաքանչյուր DC-ում։ min.isr = 2-ի դեպքում գրանցումը համարվում է հաջողված հենց որ ISR-ի երկու անդամ հաստատեն այն՝ նույնիսկ եթե երկու հաստատումներն էլ գալիս են նույն DC-ում գտնվող բրոքերներից։
Համոզվելու համար, որ տվյալները հաստատվում են երկու DC-ներում էլ, կարող եք թոփիքը կարգավորել այսպես՝
- DC 1. Leader + Observer
- DC 2. Follower + Observer
Ահա ռեպլիկաների տեղադրման քաղաքականությունը՝
{
"version": 2,
"replicas": [
{
"count": 1,
"constraints": {
"rack": "dc1"
}
},
{
"count": 1,
"constraints": {
"rack": "dc2"
}
}
],
"observers": [
{
"count": 1,
"constraints": {
"rack": "dc1"
}
},
{
"count": 1,
"constraints": {
"rack": "dc2"
}
}
],
"observerPromotionPolicy":"under-min-isr"
}
Երբ leader-ը պարունակող DC-ն անջատվում է, Automatic Observer Promotion (AOP)-ը կարող է հասած observer-ին տեղափոխել ISR և ընտրել այն որպես նոր leader։ Առաջխաղացման տևողությունը կախված է replication lag-ից և ցանցի վիճակից, ֆիքսված տևողություն չկա։ Այս անցման ընթացքում acks=all օգտագործող producer-ները չեն կարող նոր հաղորդագրություններ ուղարկել։
Այս կարգավորումը նաև խոցելի է համընկնող խափանումների նկատմամբ (օրինակ՝ մեկ DC-ի անջատումը, որը համընկնում է մնացած DC-ում բրոքերի վերագործարկման հետ)։
Սցենար 2 – RF = 4, min.ISR = 3
Այստեղ replication factor-ը նույնն է, ինչ Սցենար 1-ում, բայց min.isr=3։ Այս կոնֆիգուրացիայում բոլոր ռեպլիկաները սինխրոն են՝ observer-ներ ներգրավված չեն։
Ահա ռեպլիկաների տեղադրման քաղաքականությունը՝
{
"version": 2,
"replicas": [
{
"count": 2,
"constraints": {
"rack": "dc1"
}
},
{
"count": 2,
"constraints": {
"rack": "dc2"
}
}
]
}
Արդյունքում՝
- Յուրաքանչյուր գրանցում պետք է հաստատվի երեք բրոքերի կողմից։
- Գրանցումները նորմալ անցնում են, քանի դեռ առնվազն երեք բրոքեր առողջ են։
- Երբ ամբողջ DC-ն անջատվում է, մնում են ISR-ի ընդամենը երկու անդամ, և
acks=allօգտագործող producer-ները արգելափակվելու են, մինչև խափանված DC-ն վերադառնա կամmin.ISR-ը ժամանակավորապես իջեցվի 2-ի։
Այս կոնֆիգուրացիան նախապատվություն է տալիս հետևողականությանը՝ ամբողջ DC-ի խափանման դեպքում հասանելիության հաշվին։
Սցենար 3 – RF = 6, min.ISR = 3
RF=6-ի դեպքում յուրաքանչյուր DC պարունակում է երկու սինխրոն ռեպլիկա և մեկ observer՝
- DC 1. Leader, Follower, Observer
- DC 2. Երկու Follower, Observer
Ահա ռեպլիկաների տեղադրման քաղաքականությունը՝
{
"version": 2,
"replicas": [
{
"count": 2,
"constraints": {
"rack": "dc1"
}
},
{
"count": 2,
"constraints": {
"rack": "dc2"
}
}
],
"observers": [
{
"count": 1,
"constraints": {
"rack": "dc1"
}
},
{
"count": 1,
"constraints": {
"rack": "dc2"
}
}
],
"observerPromotionPolicy":"under-min-isr"
}
Այս դասավորությունը ապահովում է ուժեղ դիմացկունություն և ավելի մեծ կայունություն՝
- Մեկ բրոքերի վերագործարկումը կամ թարմացումը պարապուրդ չի առաջացնում։
- Երբ ամբողջ DC-ն խափանվում է, AOP-ը մնացած DC-ում առաջ է բերում հասած observer, վերականգնելով հասանելիությունը։
Սա 6 ռեպլիկա min.ISR = 3-ով դարձնում է stretched cluster-ների համար ամենահուսալի և շահագործման առումով ամենակայուն կարգավորումը։
Confluent Platform ընդդեմ Open-Source Kafka-ի
Confluent-ի պլատֆորմը կառուցվում է Kafka-ի դիմացկունության մոդելի վրա՝ այնպիսի հնարավորություններով, ինչպիսիք են ասինխրոն observer-ները, stretched cluster-ները (2.5-DC ճարտարապետություններ) և ռեպլիկաների տեղադրման սահմանափակումները։ Այս հնարավորությունները, որոնք լիարժեք հասանելի են Confluent Platform 6.1-ից սկսած, թույլ են տալիս ավտոմատ failover և ավելի ուժեղ տվյալների հետևողականություն տարածաշրջանների միջև։ Open Source Kafka-ի մոդելն ունի միայն leader-ներ և սինխրոն follower-ներ՝ սովորական replication factor-ով։
Եզրակացություն
Confluent Stretched Cluster 2.5 դեպլոյմենտի համար 6 ռեպլիկա min.ISR = 3-ով և տեղադրման համապատասխան քաղաքականությամբ լավագույն հավասարակշռությունն են ապահովում հասանելիության և դիմացկունության միջև. գրանցումները անվտանգ կրկնօրինակվում են երկու DC-ներում էլ, և բիզնեսը շարունակում է աշխատել խափանումների ժամանակ։
Ավելի պարզ կարգավորումները, ինչպիսին RF = 4, min.ISR = 2-ն է, կարող են աշխատել իդեալական պայմաններում, բայց բրոքերների և DC-ների խափանումների համընկնման դեպքում կարող են հանգեցնել տվյալների կորստի կամ պարապուրդի։
Confluent-ի առանձնահատուկ հնարավորությունները՝ Observer-ները Stretched Cluster 2.5-ի հետ, ապահովում են այնպիսի կարողություններ, որոնք open-source Kafka-ն չունի, առաջարկելով ավելի անվտանգ failover և ավելի ուժեղ տվյալների հետևողականություն կարևորագույն (mission-critical) միջավայրերի համար։