Գնահատել նախագիծը
← Բոլոր հրապարակումները

Apache Kafka և Confluent Platform. ինչպես են համեմատվում նրանց հնարավորությունները

Apache Kafka-ն աշխարհում տվյալների հոսքագրման ամենահայտնի պլատֆորմներից է, և Fortune 100 ընկերությունները մեծապես հենվում են դրա վրա։ Թեև Kafka-ն սկսվել է որպես բաց կոդով նախագիծ, այն նաև լայնորեն օգտագործվում է կորպորատիվ և կարգավորվող միջավայրերում, որտեղ շահագործման հասունությունը, անվտանգությունը և աղետից վերականգնումը էական են։ Confluent Platform-ը կառուցված է բաց կոդով Apache Kafka-ի վրա և ընդլայնում է այն enterprise մակարդակի հնարավորություններով, որոնք նպատակ ունեն պարզեցնել շահագործումը, ուժեղացնել անվտանգությունը և սպասարկել production-ի պահանջկոտ դեպքերը։ Քանի որ IBM-ը հայտարարել է Confluent-ի $11B ձեռքբերման մասին, հավանաբար ավելի շատ մարդիկ կցանկանան հասկանալ, թե բաց կոդով Kafka-ն ինչով է տարբերվում Confluent Platform-ից։ Այս հոդվածը անցնում է Confluent Platform-ի այն հիմնական հնարավորությունների միջով, որոնք բաց կոդով Apache Kafka-ում բացակայում են (ամբողջությամբ կամ մասամբ)՝ կենտրոնանալով այն բանի վրա, ինչը ամենակարևորն է production տեղակայումներում։

5 րոպե
Enterprise տեխնոլոգիաներKafkaApache KafkaConfluent Partner

Apache Kafka-ն աշխարհում տվյալների հոսքագրման ամենահայտնի պլատֆորմներից է, և Fortune 100 ընկերությունները մեծապես հենվում են դրա վրա։ Թեև Kafka-ն սկսվել է որպես բաց կոդով նախագիծ, այն նաև լայնորեն օգտագործվում է կորպորատիվ և կարգավորվող միջավայրերում, որտեղ շահագործման հասունությունը, անվտանգությունը և աղետից վերականգնումը էական են։

Confluent Platform-ը կառուցված է բաց կոդով Apache Kafka-ի վրա և ընդլայնում է այն enterprise մակարդակի հնարավորություններով, որոնք նպատակ ունեն պարզեցնել շահագործումը, ուժեղացնել անվտանգությունը և սպասարկել production-ի պահանջկոտ դեպքերը։ Քանի որ IBM-ը հայտարարել է Confluent-ի $11B ձեռքբերման մասին, հավանաբար ավելի շատ մարդիկ կցանկանան հասկանալ, թե բաց կոդով Kafka-ն ինչով է տարբերվում Confluent Platform-ից։

Այս հոդվածը անցնում է Confluent Platform-ի այն հիմնական հնարավորությունների միջով, որոնք բաց կոդով Apache Kafka-ում բացակայում են (ամբողջությամբ կամ մասամբ)՝ կենտրոնանալով այն բանի վրա, ինչը ամենակարևորն է production տեղակայումներում։

Աուդիտի լոգեր

Շատ կազմակերպությունների անվտանգության բաժինները, հատկապես կարգավորվող ոլորտներում, ինչպիսիք են ֆինանսները, առողջապահությունը կամ պետական հատվածը, պահանջում են մանրամասն աուդիտի լոգեր։ Այդպիսի լոգերը անփոխարինելի են համապատասխանության, միջադեպերի քննության և դատաբժշկական վերլուծության համար։

Բաց կոդով Apache Kafka-ն չունի աուդիտի լոգավորման ներկառուցված մեխանիզմ։ Աուդիտը կարող եք մոտավորապես իրականացնել broker-ի լոգերը միացնելով կամ սեփական authorizer-ներ գրելով, բայց այդ մոտեցումները սովորաբար թերի են, դժվար սպասարկվող և ոչ ստանդարտ։

Confluent Platform-ը տրամադրում է Audit Logs՝ իր անվտանգության authorizer-ի միջոցով, որը միացվում է կոնֆիգուրացիայի կարգավորումներով։ Թույլտվության իրադարձությունները (օրինակ՝ հասանելիությունը տրված կամ մերժված է) ուղիղ գնում են հատուկ Kafka topic։ Աուդիտի լոգի գրառումը սովորաբար պարունակում է.

  • Principal (օգտատեր կամ service account)
  • Operation (READ, WRITE, DESCRIBE և այլն)
  • Resource (topic, consumer group, կլաստեր և այլն)
  • Timestamp
  • Result (թույլատրված կամ մերժված)
  • Client metadata (IP, listener, protocol)

Քանի որ աուդիտի լոգերը գտնվում են հենց Kafka-ում, դրանք հեշտությամբ ինտեգրվում են SIEM համակարգերի, երկարաժամկետ պահոցի կամ մոնիթորինգի գործիքների հետ։ Կարգավորվող միջավայրերում այս հնարավորությունը հաճախ անշրջանցելի պահանջ է, և այն Confluent-ը հստակորեն առանձնացնում է բաց կոդով Kafka-ից։

Role-Based Access Control (RBAC)

Բաց կոդով Apache Kafka-ում թույլտվության հիմնական մեխանիզմը Access Control Lists-ն են (ACL)։ ACL-ները հզոր են և ճկուն, բայց դժվար են կառավարվում մեծ միջավայրերում, որտեղ կան.

  • Հարյուրավոր topic-ներ
  • Շատ թիմեր և հավելվածներ
  • Հաճախակի ընդունումներ և հեռացումներ (onboarding և offboarding)

Confluent Platform-ը ավելացնում է Role-Based Access Control (RBAC), որը պարզեցնում է թույլտվությունները՝ իրավունքները խմբավորելով նախասահմանված դերերի մեջ։ Հարյուրավոր կամ հազարավոր ACL գրառումներ պահպանելու փոխարեն ադմինիստրատորները դերեր են տալիս օգտատերերին կամ service account-ներին։

Նախասահմանված դերերից մի քանիսն են.

  • DeveloperRead
  • DeveloperWrite
  • ResourceOwner
  • SecurityAdmin
  • ClusterAdmin

RBAC-ը մեծապես նվազեցնում է շահագործման բարդությունը և սխալ կոնֆիգուրացիայի հավանականությունը։ Այն նաև սահուն աշխատում է Confluent-ի ողջ էկոհամակարգում, ներառյալ.

  • Kafka broker-ները
  • Schema Registry
  • Kafka Connect
  • ksqlDB
  • Control Center

Այս միասնական անվտանգության մոդելի շնորհիվ RBAC-ը հատկապես գրավիչ է խոշոր կազմակերպությունների համար, որտեղ բազմաթիվ թիմեր կիսում են Kafka ինֆրաստրուկտուրան։

Cluster Linking

Բազմակլաստերային և աղետից վերականգնման սցենարներում բաց կոդով Kafka-ն սովորաբար հենվում է MirrorMaker 2-ի վրա։ Այն իր գործը անում է, բայց MirrorMaker 2-ը կառուցված է Kafka Connect-ի վրա, ինչը բերում է լրացուցիչ շահագործման ծախսեր և հապաղում։

Confluent Platform-ը տրամադրում է Cluster Linking՝ ռեպլիկացիայի մեխանիզմ, որը ներդրված է ուղղակիորեն broker-ի շերտում։ Քանի որ այն աշխատում է բայթերի մակարդակում և կախված չէ Kafka Connect-ից, Cluster Linking-ը.

  • առաջարկում է ավելի ցածր հապաղում,
  • սպառում է ավելի քիչ ռեսուրսներ,
  • ավելի պարզ է աշխատեցնել և մոնիթորինգի ենթարկել։

Cluster Linking-ի առանցքային առավելությունը նրա consumer group offset-ները ռեպլիկացնելու հնարավորությունն է, ինչը կենսական է աղետից վերականգնման (DR) սցենարներում։ Երբ ակտիվ կլաստերը կանգ է առնում, consumer-ները կարող են տեղափոխվել պասիվ (DR) կլաստեր և շարունակել մշակումը գրեթե նույն offset-ներից՝ առանց offset-ների ձեռքով վերակայման կամ տվյալների կրկնակի մշակման։

Cluster Linking-ը ընդգրկում է հետևյալ բնորոշ դեպքերը.

  • active–passive DR,
  • տվյալների տեղափոխում կլաստերների միջև,
  • հիբրիդային և multi-cloud ճարտարապետություններ։

Stretched Cluster 2.5 և Observers

Բաց կոդով Kafka-ի դեպքում բազմաթիվ տվյալների կենտրոններով (DC) տեղակայումները սովորաբար ունենում են հետևյալ ձևերից մեկը.

  • active–passive,
  • active–active,
  • quorum-ի վրա հիմնված կլաստերներ, որոնք ընդգրկում են երեք տվյալների կենտրոն։

Երեք DC-ով կառուցվածքը պահանջում է Kafka broker-ներ (կամ ZooKeeper/KRaft controller-ներ) և պահոց երեք վայրերից յուրաքանչյուրում, ինչը.

  • բարձրացնում է ինֆրաստրուկտուրայի ծախսերը,
  • պահանջում է շատ ցածր հապաղում DC-ների միջև,
  • դարձնում է շահագործումն ավելի բարդ։

Confluent Platform-ը բերում է Stretched Cluster 2.5-ը՝ փոխզիջում active–active և երեք DC ճարտարապետությունների միջև.

  • տվյալները պահվում են երկու տվյալների կենտրոնում,
  • KRaft controller-ները բաշխված են երեք տվյալների կենտրոններում,
  • quorum-ը ապահովվում է 3 կամ 5 KRaft node-երով։

Այս նախագիծը առաջարկում է.

  • ավտոմատ failover (առանց ձեռքով միջամտության),
  • ավելի ցածր պահոցի ծախսեր, քան երեք DC-ով կլաստերների դեպքում,
  • աղետից վերականգնման ավելի ուժեղ հատկություններ, քան active–passive կառուցվածքներում։

Observers

Confluent-ը ներմուծում է նաև Observers, որոնք ընդլայնում են Kafka-ի ռեպլիկացիայի մոդելը։ Բաց կոդով Kafka-ում partition-ն ունի leader և follower-ներ, և յուրաքանչյուր ռեպլիկա սինխրոն մասնակցում է ISR-ին (in-sync replicas)։

Observer-ները ասինխրոն ռեպլիկաներ են, որոնք.

  • սովորաբար չեն մասնակցում ISR-ին,
  • կարող են դառնալ լիարժեք ռեպլիկաներ, երբ կատարվում են որոշակի պայմաններ (օրինակ՝ ISR-ը իջնում է min.insync.replicas-ից ցածր)։

Այս մեխանիզմի շնորհիվ տվյալները կարող են ապահով պահվել մի քանի տվյալների կենտրոնում՝ առանց հասանելիությանը վնասելու կամ գրելու հապաղումը մեծացնելու։ Observer-ները թույլ են տալիս ռեպլիկացիայի ավելի ճկուն ռազմավարություններ և հնարավոր են դարձնում երաշխավորել DC-ների միջև դիմացկուն պահպանում՝ պահելով արտադրողականությունը կանխատեսելի։

Self-Balancing Cluster

Խոշոր Kafka կլաստերներում ամենօրյա խնդիրները, ինչպիսիք են.

  • broker-ների ավելացումը,
  • հին broker-ների հանումը,
  • partition-ների քանակի մեծացումը,

կարող են թանկ լինել կատարելու համար։ Partition-ների վերաբաշխումը սովորաբար պահանջում է ձեռքի աշխատանք կամ արտաքին գործիքներ, և սխալները կարող են հանգեցնել անհավասար բեռի, hot partition-ների կամ արտադրողականության անկման։

Confluent Platform-ը առաջարկում է Self-Balancing Clusters, որոնք շարունակաբար աշխատում են ֆոնում և ավտոմատ կերպով.

  • վերաբաշխում են partition-ները,
  • հավասարեցնում են leadership-ը,
  • օպտիմալացնում են սկավառակի և ցանցի օգտագործումը։

Գործընթացը տեղի է ունենում աստիճանաբար և առանց խափանումների, ինչը նվազեցնում է շահագործման ռիսկը և զգալիորեն հեշտացնում է կլաստերների կառավարումը մեծ մասշտաբով։

Control Center

Բաց կոդով Kafka-ն հենվում է երրորդ կողմի գործիքների վրա (ինչպես Grafana-ն, Prometheus-ը կամ սեփական սկրիպտները), մինչդեռ Confluent Platform-ը մատակարարվում է Control Center-ով՝ կառավարման և մոնիթորինգի լիովին ինտեգրված UI-ով։

Control Center-ն առաջարկում է.

  • տվյալների հոսքերի տեսանելիություն սկզբից մինչև վերջ,
  • consumer lag-ի մոնիթորինգ,
  • մետրիկաներ կլաստերի առողջության և արտադրողականության մասին,
  • պատկերացում անվտանգության և RBAC-ի մասին,
  • Kafka Connect-ի և ksqlDB-ի կառավարում։

Grafana dashboard-ները հզոր են և բաց կոդով, բայց Control Center-ը տալիս է պլատֆորմի Kafka-ին հարմարեցված, կարծիքավոր (opinionated) տեսք, որը հատկապես օգտակար է շահագործման և խնդիրների լուծման համար։

Առևտրային աջակցություն + առևտրային connector-ներ

Confluent Platform-ը գալիս է enterprise մակարդակի աջակցությամբ, որը կարող է էական լինել կրիտիկական համակարգերի համար։ Այն ներառում է.

  • SLA-ներ,
  • հասանելիություն Kafka փորձագետներին,
  • production-ի բարդ խնդիրների ավելի արագ լուծում։

Confluent-ը տրամադրում է նաև առևտրային Kafka Connect connector-ներ այնպիսի համակարգերի համար, ինչպիսիք են.

  • mainframe-ները,
  • ձեռնարկատիրական տվյալների բազաները,
  • SaaS պլատֆորմները։

Այս connector-ները սովորաբար ավելի մանրակրկիտ են թեստավորվում, ավելի լավ են աջակցվում և ավելի հուսալի են, քան համայնքի անալոգները։

Apache Kafka ընդդեմ Confluent. ամփոփում

Confluent Platform-ը ավելացնում է մի շարք հզոր հնարավորություններ՝ բաց կոդով Apache Kafka-ի առաջարկածից դուրս, հատկապես հետևյալ ոլորտներում.

  • անվտանգություն (Audit Logs, RBAC),
  • աղետից վերականգնում (Cluster Linking, Stretched Cluster 2.5, Observers,)
  • շահագործում (Self-Balancing Clusters, Control Center)։

Ոչ ամեն կազմակերպություն է պահանջում այս հնարավորությունները, և շատ դեպքերում բաց կոդով Kafka-ն դեռ գերազանց տարբերակ է։ Այդուհանդերձ, կարգավորվող միջավայրերում, խոշոր մասշտաբի տեղակայումներում կամ խիստ հասանելիության և անվտանգության պահանջներ ունեցող համակարգերում դրանք անշուշտ արժե ավելի մոտիկից նայել։

Մեր ընկերությունում մենք ամեն օր մատուցում ենք Apache Kafka ծառայություններ՝ օգնելով կազմակերպություններին նախագծել, կառուցել և շահագործել իրադարձություններով առաջնորդվող պլատֆորմներ, որոնք մասշտաբավորվում են ապահով և հուսալիորեն։ Որպես Confluent Elite Partner՝ մենք աջակցում ենք ընկերություններին Kafka-ի կյանքի ողջ ցիկլում. ճարտարապետությունից և իրականացումից մինչև օպտիմալացում և երկարաժամկետ շահագործում։