Գնահատել նախագիծը
← Բոլոր հրապարակումները

Confluent Stretched Cluster 2.5-ում in-sync replicas-ի և replication factor-ի բացատրությունը

Պարզեք, թե ինչպես սահմանել in-sync replicas (ISR) և replication factor (RF) Confluent Stretched Cluster 2.5-ում՝ տվյալների առավելագույն դիմացկունության, տվյալների կենտրոնների միջև կայունության և սխալների հանդեպ տոլերանտության համար։ Տեսեք, թե ինչպես են replication-ի կարգավորումները, observer-ները և observer-ների ավտոմատ առաջխաղացումը ազդում հասանելիության և արդյունավետության վրա՝ open-source Kafka-ի համեմատ։

4 րոպե
KafkaApache KafkaConfluent PartnerReplication

Երբ Kafka-ն դեպլոյ է արված մի քանի տվյալների կենտրոնում, տվյալների դիմացկունությունն ու հասանելիությունը խափանումների դեպքում պահպանելը պահանջում է զգույշ փոխզիջում հետևողականության և արդյունավետության միջև։

Confluent Stretched Cluster 2.5 ճարտարապետությունը ներմուծում է այնպիսի մեխանիզմներ, ինչպիսիք են observer-ները և observer-ների ավտոմատ առաջխաղացումը (AOP), որոնք ապահովում են կայունություն տվյալների կենտրոնների միջև՝ պահպանելով ցածր շահագործման բարդություն։

Այս գրառման մեջ բացատրում եմ, թե ինչ են անում replication.factor (RF) և min.insync.replicas (min.ISR) կարգավորումները Confluent Platform Stretched Cluster-ում, ինչպես են ազդում հասանելիության վրա և ինչով է Confluent-ի իրականացումը տարբերվում open-source Apache Kafka-ից։

Ի՞նչ է Stretched Cluster 2.5-ը

Stretched cluster 2.5-ը Kafka-ի դեպլոյմենտ է, որտեղ բրոքերները աշխատում են երկու լիովին ֆունկցիոնալ տվյալների կենտրոններում (DC), իսկ երրորդ՝ թեթև կայքը գործարկում է միայն մետատվյալների սերվիսները՝ ավանդաբար ZooKeeper, կամ Confluent Platform-ի վերջին տարբերակներում՝ KRaft կոնտրոլերների քվորում։

Բրոքերները պահում են partition-ների ռեպլիկաները, և յուրաքանչյուր ռեպլիկա ստանձնում է երեք դերերից մեկը՝

  • Leader – սպասարկում է կլիենտների հարցումները (producer-ներ/consumer-ներ) կոնկրետ partition-ի համար։
  • Follower – պահում է partition-ի սինխրոն ռեպլիկա։
  • Observer – պահում է ասինխրոն ռեպլիկա, որը լռելյայն ISR-ի մաս չէ (Confluent Blog)։

ISR (In-Sync Replicas) ցանկը պարունակում է այն բրոքերները, որոնք լիովին հասել են leader-ին։

min.insync.replicas կարգավորումը նշում է, թե ISR-ի քանի անդամ պետք է հաստատի գրանցումը (acks=all-ով), մինչև այն համարվի commit արված։

Observer-ների և stretched cluster-ների հետ աշխատելու համար անհրաժեշտ է թոփիք ստեղծելիս սահմանել ռեպլիկաների քանակը, ապա տրամադրել confluent.placement.constraints, որը որոշում է՝ յուրաքանչյուր ռեպլիկան որտեղ է տեղադրվում և ինչ դեր է ստանձնում։

Կարգավորումների տարբեր սցենարներ

Սցենար 1 – RF = 4, min.ISR = 2

Ենթադրենք, ուզում ենք յուրաքանչյուր partition-ի 4 ռեպլիկա (RF=4)՝ երկուական յուրաքանչյուր DC-ում։ min.isr = 2-ի դեպքում գրանցումը համարվում է հաջողված հենց որ ISR-ի երկու անդամ հաստատեն այն՝ նույնիսկ եթե երկու հաստատումներն էլ գալիս են նույն DC-ում գտնվող բրոքերներից։

Համոզվելու համար, որ տվյալները հաստատվում են երկու DC-ներում էլ, կարող եք թոփիքը կարգավորել այսպես՝

  • DC 1. Leader + Observer
  • DC 2. Follower + Observer

Ահա ռեպլիկաների տեղադրման քաղաքականությունը՝

{
    "version": 2,
    "replicas": [
        {
            "count": 1,
            "constraints": {
                "rack": "dc1"
            }
        },
        {
            "count": 1,
            "constraints": {
                "rack": "dc2"
            }
        }
    ],
    "observers": [
      {
          "count": 1,
          "constraints": {
              "rack": "dc1"
          }
      },
      {
          "count": 1,
          "constraints": {
              "rack": "dc2"
          }
      }
    ],
    "observerPromotionPolicy":"under-min-isr"
}

Երբ leader-ը պարունակող DC-ն անջատվում է, Automatic Observer Promotion (AOP)-ը կարող է հասած observer-ին տեղափոխել ISR և ընտրել այն որպես նոր leader։ Առաջխաղացման տևողությունը կախված է replication lag-ից և ցանցի վիճակից, ֆիքսված տևողություն չկա։ Այս անցման ընթացքում acks=all օգտագործող producer-ները չեն կարող նոր հաղորդագրություններ ուղարկել։

Այս կարգավորումը նաև խոցելի է համընկնող խափանումների նկատմամբ (օրինակ՝ մեկ DC-ի անջատումը, որը համընկնում է մնացած DC-ում բրոքերի վերագործարկման հետ)։

Սցենար 2 – RF = 4, min.ISR = 3

Այստեղ replication factor-ը նույնն է, ինչ Սցենար 1-ում, բայց min.isr=3։ Այս կոնֆիգուրացիայում բոլոր ռեպլիկաները սինխրոն են՝ observer-ներ ներգրավված չեն։

Ահա ռեպլիկաների տեղադրման քաղաքականությունը՝

{
    "version": 2,
    "replicas": [
        {
            "count": 2,
            "constraints": {
                "rack": "dc1"
            }
        },
        {
            "count": 2,
            "constraints": {
                "rack": "dc2"
            }
        }
  ]
}

Արդյունքում՝

  • Յուրաքանչյուր գրանցում պետք է հաստատվի երեք բրոքերի կողմից։
  • Գրանցումները նորմալ անցնում են, քանի դեռ առնվազն երեք բրոքեր առողջ են։
  • Երբ ամբողջ DC-ն անջատվում է, մնում են ISR-ի ընդամենը երկու անդամ, և acks=all օգտագործող producer-ները արգելափակվելու են, մինչև խափանված DC-ն վերադառնա կամ min.ISR-ը ժամանակավորապես իջեցվի 2-ի։

Այս կոնֆիգուրացիան նախապատվություն է տալիս հետևողականությանը՝ ամբողջ DC-ի խափանման դեպքում հասանելիության հաշվին։

Սցենար 3 – RF = 6, min.ISR = 3

RF=6-ի դեպքում յուրաքանչյուր DC պարունակում է երկու սինխրոն ռեպլիկա և մեկ observer՝

  • DC 1. Leader, Follower, Observer
  • DC 2. Երկու Follower, Observer

Ահա ռեպլիկաների տեղադրման քաղաքականությունը՝

{
    "version": 2,
    "replicas": [
        {
            "count": 2,
            "constraints": {
                "rack": "dc1"
            }
        },
        {
            "count": 2,
            "constraints": {
                "rack": "dc2"
            }
        }
    ],
    "observers": [
      {
          "count": 1,
          "constraints": {
              "rack": "dc1"
          }
      },
      {
          "count": 1,
          "constraints": {
              "rack": "dc2"
          }
      }
    ],
    "observerPromotionPolicy":"under-min-isr"
}

Այս դասավորությունը ապահովում է ուժեղ դիմացկունություն և ավելի մեծ կայունություն՝

  • Մեկ բրոքերի վերագործարկումը կամ թարմացումը պարապուրդ չի առաջացնում։
  • Երբ ամբողջ DC-ն խափանվում է, AOP-ը մնացած DC-ում առաջ է բերում հասած observer, վերականգնելով հասանելիությունը։

Սա 6 ռեպլիկա min.ISR = 3-ով դարձնում է stretched cluster-ների համար ամենահուսալի և շահագործման առումով ամենակայուն կարգավորումը։

Confluent Platform ընդդեմ Open-Source Kafka-ի

Confluent-ի պլատֆորմը կառուցվում է Kafka-ի դիմացկունության մոդելի վրա՝ այնպիսի հնարավորություններով, ինչպիսիք են ասինխրոն observer-ները, stretched cluster-ները (2.5-DC ճարտարապետություններ) և ռեպլիկաների տեղադրման սահմանափակումները։ Այս հնարավորությունները, որոնք լիարժեք հասանելի են Confluent Platform 6.1-ից սկսած, թույլ են տալիս ավտոմատ failover և ավելի ուժեղ տվյալների հետևողականություն տարածաշրջանների միջև։ Open Source Kafka-ի մոդելն ունի միայն leader-ներ և սինխրոն follower-ներ՝ սովորական replication factor-ով։

Եզրակացություն

Confluent Stretched Cluster 2.5 դեպլոյմենտի համար 6 ռեպլիկա min.ISR = 3-ով և տեղադրման համապատասխան քաղաքականությամբ լավագույն հավասարակշռությունն են ապահովում հասանելիության և դիմացկունության միջև. գրանցումները անվտանգ կրկնօրինակվում են երկու DC-ներում էլ, և բիզնեսը շարունակում է աշխատել խափանումների ժամանակ։

Ավելի պարզ կարգավորումները, ինչպիսին RF = 4, min.ISR = 2-ն է, կարող են աշխատել իդեալական պայմաններում, բայց բրոքերների և DC-ների խափանումների համընկնման դեպքում կարող են հանգեցնել տվյալների կորստի կամ պարապուրդի։

Confluent-ի առանձնահատուկ հնարավորությունները՝ Observer-ները Stretched Cluster 2.5-ի հետ, ապահովում են այնպիսի կարողություններ, որոնք open-source Kafka-ն չունի, առաջարկելով ավելի անվտանգ failover և ավելի ուժեղ տվյալների հետևողականություն կարևորագույն (mission-critical) միջավայրերի համար։