Apache Kafka և Confluent Platform. ինչպես են համեմատվում նրանց հնարավորությունները
Apache Kafka-ն աշխարհում տվյալների հոսքագրման ամենահայտնի պլատֆորմներից է, և Fortune 100 ընկերությունները մեծապես հենվում են դրա վրա։ Թեև Kafka-ն սկսվել է որպես բաց կոդով նախագիծ, այն նաև լայնորեն օգտագործվում է կորպորատիվ և կարգավորվող միջավայրերում, որտեղ շահագործման հասունությունը, անվտանգությունը և աղետից վերականգնումը էական են։ Confluent Platform-ը կառուցված է բաց կոդով Apache Kafka-ի վրա և ընդլայնում է այն enterprise մակարդակի հնարավորություններով, որոնք նպատակ ունեն պարզեցնել շահագործումը, ուժեղացնել անվտանգությունը և սպասարկել production-ի պահանջկոտ դեպքերը։ Քանի որ IBM-ը հայտարարել է Confluent-ի $11B ձեռքբերման մասին, հավանաբար ավելի շատ մարդիկ կցանկանան հասկանալ, թե բաց կոդով Kafka-ն ինչով է տարբերվում Confluent Platform-ից։ Այս հոդվածը անցնում է Confluent Platform-ի այն հիմնական հնարավորությունների միջով, որոնք բաց կոդով Apache Kafka-ում բացակայում են (ամբողջությամբ կամ մասամբ)՝ կենտրոնանալով այն բանի վրա, ինչը ամենակարևորն է production տեղակայումներում։
Apache Kafka-ն աշխարհում տվյալների հոսքագրման ամենահայտնի պլատֆորմներից է, և Fortune 100 ընկերությունները մեծապես հենվում են դրա վրա։ Թեև Kafka-ն սկսվել է որպես բաց կոդով նախագիծ, այն նաև լայնորեն օգտագործվում է կորպորատիվ և կարգավորվող միջավայրերում, որտեղ շահագործման հասունությունը, անվտանգությունը և աղետից վերականգնումը էական են։
Confluent Platform-ը կառուցված է բաց կոդով Apache Kafka-ի վրա և ընդլայնում է այն enterprise մակարդակի հնարավորություններով, որոնք նպատակ ունեն պարզեցնել շահագործումը, ուժեղացնել անվտանգությունը և սպասարկել production-ի պահանջկոտ դեպքերը։ Քանի որ IBM-ը հայտարարել է Confluent-ի $11B ձեռքբերման մասին, հավանաբար ավելի շատ մարդիկ կցանկանան հասկանալ, թե բաց կոդով Kafka-ն ինչով է տարբերվում Confluent Platform-ից։
Այս հոդվածը անցնում է Confluent Platform-ի այն հիմնական հնարավորությունների միջով, որոնք բաց կոդով Apache Kafka-ում բացակայում են (ամբողջությամբ կամ մասամբ)՝ կենտրոնանալով այն բանի վրա, ինչը ամենակարևորն է production տեղակայումներում։
Աուդիտի լոգեր
Շատ կազմակերպությունների անվտանգության բաժինները, հատկապես կարգավորվող ոլորտներում, ինչպիսիք են ֆինանսները, առողջապահությունը կամ պետական հատվածը, պահանջում են մանրամասն աուդիտի լոգեր։ Այդպիսի լոգերը անփոխարինելի են համապատասխանության, միջադեպերի քննության և դատաբժշկական վերլուծության համար։
Բաց կոդով Apache Kafka-ն չունի աուդիտի լոգավորման ներկառուցված մեխանիզմ։ Աուդիտը կարող եք մոտավորապես իրականացնել broker-ի լոգերը միացնելով կամ սեփական authorizer-ներ գրելով, բայց այդ մոտեցումները սովորաբար թերի են, դժվար սպասարկվող և ոչ ստանդարտ։
Confluent Platform-ը տրամադրում է Audit Logs՝ իր անվտանգության authorizer-ի միջոցով, որը միացվում է կոնֆիգուրացիայի կարգավորումներով։ Թույլտվության իրադարձությունները (օրինակ՝ հասանելիությունը տրված կամ մերժված է) ուղիղ գնում են հատուկ Kafka topic։ Աուդիտի լոգի գրառումը սովորաբար պարունակում է.
- Principal (օգտատեր կամ service account)
- Operation (READ, WRITE, DESCRIBE և այլն)
- Resource (topic, consumer group, կլաստեր և այլն)
- Timestamp
- Result (թույլատրված կամ մերժված)
- Client metadata (IP, listener, protocol)
Քանի որ աուդիտի լոգերը գտնվում են հենց Kafka-ում, դրանք հեշտությամբ ինտեգրվում են SIEM համակարգերի, երկարաժամկետ պահոցի կամ մոնիթորինգի գործիքների հետ։ Կարգավորվող միջավայրերում այս հնարավորությունը հաճախ անշրջանցելի պահանջ է, և այն Confluent-ը հստակորեն առանձնացնում է բաց կոդով Kafka-ից։
Role-Based Access Control (RBAC)
Բաց կոդով Apache Kafka-ում թույլտվության հիմնական մեխանիզմը Access Control Lists-ն են (ACL)։ ACL-ները հզոր են և ճկուն, բայց դժվար են կառավարվում մեծ միջավայրերում, որտեղ կան.
- Հարյուրավոր topic-ներ
- Շատ թիմեր և հավելվածներ
- Հաճախակի ընդունումներ և հեռացումներ (onboarding և offboarding)
Confluent Platform-ը ավելացնում է Role-Based Access Control (RBAC), որը պարզեցնում է թույլտվությունները՝ իրավունքները խմբավորելով նախասահմանված դերերի մեջ։ Հարյուրավոր կամ հազարավոր ACL գրառումներ պահպանելու փոխարեն ադմինիստրատորները դերեր են տալիս օգտատերերին կամ service account-ներին։
Նախասահմանված դերերից մի քանիսն են.
DeveloperReadDeveloperWriteResourceOwnerSecurityAdminClusterAdmin
RBAC-ը մեծապես նվազեցնում է շահագործման բարդությունը և սխալ կոնֆիգուրացիայի հավանականությունը։ Այն նաև սահուն աշխատում է Confluent-ի ողջ էկոհամակարգում, ներառյալ.
- Kafka broker-ները
- Schema Registry
- Kafka Connect
- ksqlDB
- Control Center
Այս միասնական անվտանգության մոդելի շնորհիվ RBAC-ը հատկապես գրավիչ է խոշոր կազմակերպությունների համար, որտեղ բազմաթիվ թիմեր կիսում են Kafka ինֆրաստրուկտուրան։
Cluster Linking
Բազմակլաստերային և աղետից վերականգնման սցենարներում բաց կոդով Kafka-ն սովորաբար հենվում է MirrorMaker 2-ի վրա։ Այն իր գործը անում է, բայց MirrorMaker 2-ը կառուցված է Kafka Connect-ի վրա, ինչը բերում է լրացուցիչ շահագործման ծախսեր և հապաղում։
Confluent Platform-ը տրամադրում է Cluster Linking՝ ռեպլիկացիայի մեխանիզմ, որը ներդրված է ուղղակիորեն broker-ի շերտում։ Քանի որ այն աշխատում է բայթերի մակարդակում և կախված չէ Kafka Connect-ից, Cluster Linking-ը.
- առաջարկում է ավելի ցածր հապաղում,
- սպառում է ավելի քիչ ռեսուրսներ,
- ավելի պարզ է աշխատեցնել և մոնիթորինգի ենթարկել։
Cluster Linking-ի առանցքային առավելությունը նրա consumer group offset-ները ռեպլիկացնելու հնարավորությունն է, ինչը կենսական է աղետից վերականգնման (DR) սցենարներում։ Երբ ակտիվ կլաստերը կանգ է առնում, consumer-ները կարող են տեղափոխվել պասիվ (DR) կլաստեր և շարունակել մշակումը գրեթե նույն offset-ներից՝ առանց offset-ների ձեռքով վերակայման կամ տվյալների կրկնակի մշակման։
Cluster Linking-ը ընդգրկում է հետևյալ բնորոշ դեպքերը.
- active–passive DR,
- տվյալների տեղափոխում կլաստերների միջև,
- հիբրիդային և multi-cloud ճարտարապետություններ։
Stretched Cluster 2.5 և Observers
Բաց կոդով Kafka-ի դեպքում բազմաթիվ տվյալների կենտրոններով (DC) տեղակայումները սովորաբար ունենում են հետևյալ ձևերից մեկը.
- active–passive,
- active–active,
- quorum-ի վրա հիմնված կլաստերներ, որոնք ընդգրկում են երեք տվյալների կենտրոն։
Երեք DC-ով կառուցվածքը պահանջում է Kafka broker-ներ (կամ ZooKeeper/KRaft controller-ներ) և պահոց երեք վայրերից յուրաքանչյուրում, ինչը.
- բարձրացնում է ինֆրաստրուկտուրայի ծախսերը,
- պահանջում է շատ ցածր հապաղում DC-ների միջև,
- դարձնում է շահագործումն ավելի բարդ։
Confluent Platform-ը բերում է Stretched Cluster 2.5-ը՝ փոխզիջում active–active և երեք DC ճարտարապետությունների միջև.
- տվյալները պահվում են երկու տվյալների կենտրոնում,
- KRaft controller-ները բաշխված են երեք տվյալների կենտրոններում,
- quorum-ը ապահովվում է 3 կամ 5 KRaft node-երով։
Այս նախագիծը առաջարկում է.
- ավտոմատ failover (առանց ձեռքով միջամտության),
- ավելի ցածր պահոցի ծախսեր, քան երեք DC-ով կլաստերների դեպքում,
- աղետից վերականգնման ավելի ուժեղ հատկություններ, քան active–passive կառուցվածքներում։
Observers
Confluent-ը ներմուծում է նաև Observers, որոնք ընդլայնում են Kafka-ի ռեպլիկացիայի մոդելը։ Բաց կոդով Kafka-ում partition-ն ունի leader և follower-ներ, և յուրաքանչյուր ռեպլիկա սինխրոն մասնակցում է ISR-ին (in-sync replicas)։
Observer-ները ասինխրոն ռեպլիկաներ են, որոնք.
- սովորաբար չեն մասնակցում ISR-ին,
- կարող են դառնալ լիարժեք ռեպլիկաներ, երբ կատարվում են որոշակի պայմաններ (օրինակ՝ ISR-ը իջնում է min.insync.replicas-ից ցածր)։
Այս մեխանիզմի շնորհիվ տվյալները կարող են ապահով պահվել մի քանի տվյալների կենտրոնում՝ առանց հասանելիությանը վնասելու կամ գրելու հապաղումը մեծացնելու։ Observer-ները թույլ են տալիս ռեպլիկացիայի ավելի ճկուն ռազմավարություններ և հնարավոր են դարձնում երաշխավորել DC-ների միջև դիմացկուն պահպանում՝ պահելով արտադրողականությունը կանխատեսելի։
Self-Balancing Cluster
Խոշոր Kafka կլաստերներում ամենօրյա խնդիրները, ինչպիսիք են.
- broker-ների ավելացումը,
- հին broker-ների հանումը,
- partition-ների քանակի մեծացումը,
կարող են թանկ լինել կատարելու համար։ Partition-ների վերաբաշխումը սովորաբար պահանջում է ձեռքի աշխատանք կամ արտաքին գործիքներ, և սխալները կարող են հանգեցնել անհավասար բեռի, hot partition-ների կամ արտադրողականության անկման։
Confluent Platform-ը առաջարկում է Self-Balancing Clusters, որոնք շարունակաբար աշխատում են ֆոնում և ավտոմատ կերպով.
- վերաբաշխում են partition-ները,
- հավասարեցնում են leadership-ը,
- օպտիմալացնում են սկավառակի և ցանցի օգտագործումը։
Գործընթացը տեղի է ունենում աստիճանաբար և առանց խափանումների, ինչը նվազեցնում է շահագործման ռիսկը և զգալիորեն հեշտացնում է կլաստերների կառավարումը մեծ մասշտաբով։
Control Center
Բաց կոդով Kafka-ն հենվում է երրորդ կողմի գործիքների վրա (ինչպես Grafana-ն, Prometheus-ը կամ սեփական սկրիպտները), մինչդեռ Confluent Platform-ը մատակարարվում է Control Center-ով՝ կառավարման և մոնիթորինգի լիովին ինտեգրված UI-ով։
Control Center-ն առաջարկում է.
- տվյալների հոսքերի տեսանելիություն սկզբից մինչև վերջ,
- consumer lag-ի մոնիթորինգ,
- մետրիկաներ կլաստերի առողջության և արտադրողականության մասին,
- պատկերացում անվտանգության և RBAC-ի մասին,
- Kafka Connect-ի և ksqlDB-ի կառավարում։
Grafana dashboard-ները հզոր են և բաց կոդով, բայց Control Center-ը տալիս է պլատֆորմի Kafka-ին հարմարեցված, կարծիքավոր (opinionated) տեսք, որը հատկապես օգտակար է շահագործման և խնդիրների լուծման համար։
Առևտրային աջակցություն + առևտրային connector-ներ
Confluent Platform-ը գալիս է enterprise մակարդակի աջակցությամբ, որը կարող է էական լինել կրիտիկական համակարգերի համար։ Այն ներառում է.
- SLA-ներ,
- հասանելիություն Kafka փորձագետներին,
- production-ի բարդ խնդիրների ավելի արագ լուծում։
Confluent-ը տրամադրում է նաև առևտրային Kafka Connect connector-ներ այնպիսի համակարգերի համար, ինչպիսիք են.
- mainframe-ները,
- ձեռնարկատիրական տվյալների բազաները,
- SaaS պլատֆորմները։
Այս connector-ները սովորաբար ավելի մանրակրկիտ են թեստավորվում, ավելի լավ են աջակցվում և ավելի հուսալի են, քան համայնքի անալոգները։
Apache Kafka ընդդեմ Confluent. ամփոփում
Confluent Platform-ը ավելացնում է մի շարք հզոր հնարավորություններ՝ բաց կոդով Apache Kafka-ի առաջարկածից դուրս, հատկապես հետևյալ ոլորտներում.
- անվտանգություն (Audit Logs, RBAC),
- աղետից վերականգնում (Cluster Linking, Stretched Cluster 2.5, Observers,)
- շահագործում (Self-Balancing Clusters, Control Center)։
Ոչ ամեն կազմակերպություն է պահանջում այս հնարավորությունները, և շատ դեպքերում բաց կոդով Kafka-ն դեռ գերազանց տարբերակ է։ Այդուհանդերձ, կարգավորվող միջավայրերում, խոշոր մասշտաբի տեղակայումներում կամ խիստ հասանելիության և անվտանգության պահանջներ ունեցող համակարգերում դրանք անշուշտ արժե ավելի մոտիկից նայել։
Մեր ընկերությունում մենք ամեն օր մատուցում ենք Apache Kafka ծառայություններ՝ օգնելով կազմակերպություններին նախագծել, կառուցել և շահագործել իրադարձություններով առաջնորդվող պլատֆորմներ, որոնք մասշտաբավորվում են ապահով և հուսալիորեն։ Որպես Confluent Elite Partner՝ մենք աջակցում ենք ընկերություններին Kafka-ի կյանքի ողջ ցիկլում. ճարտարապետությունից և իրականացումից մինչև օպտիմալացում և երկարաժամկետ շահագործում։