Apache Kafka-ի աշխատեցումը ամպում. ինչ տարբերակներ կան
Մտադիր եք օգտագործել Apache Kafka ձեր միկրոսերվիսներում։ Բրոքերների աշխատեցումը սովորական վիրտուալ մեքենաների վրա կամ սեփական ենթակառուցվածքում հաճախ բարդ է։ Դիտարկեք ամպային լուծումը։
Ներածություն
Շատ ընկերություններ օգտագործում են Apache Kafka–ն՝ հզոր տեխնոլոգիա, որը կիրառվում է օգտագործման բազմազան սցենարներում և հավելվածներում։ Այս հոդվածում կենտրոնանում ենք Kafka կլաստերի տեղակայման վրա։ Եթե պլանավորում եք Kafka-ի վրա կառուցել իրադարձություններով (event-driven) միկրոսերվիսներ, ապա բրոքերների կարգավորումը մերկ վիրտուալ մեքենաների կամ սեփական ենթակառուցվածքի վրա կարող է չափազանց բարդ դուրս գալ, հատկապես եթե գործնական փորձ չունեք։ Ստորև դիտարկում ենք տարբեր ամպային հարթակների առաջարկած ավելի հեշտ ուղիները։
Kubernetes Operator
Մինչև կոնկրետ ամպերին կապված առաջարկները, սկսենք Kubernetes-ից։ Մեծ է հավանականությունը, որ ձեր կազմակերպությունն արդեն օգտագործում է այն։ Այդ դեպքում խելամիտ ընտրություն կարող է լինել Kafka կլաստերը K8S-ում տեղակայել առկա Kubernetes Operator-ներից որևէ մեկով։ Սա կարող է ամենաէժան ճանապարհը լինել, սակայն հիշեք, որ սպասարկումն ու մոնիթորինգն այդ դեպքում ընկնում են ձեր վրա, ինչը մեծացնում է ընդհանուր ծախսը։
Strimzi
Strimzi-ն, ամենայն հավանականությամբ, Kafka օպերատորներից ամենահայտնին է։ Բրոքերների աշխատեցումից բացի՝ այն աջակցում է Kafka Connect, Mirror Maker, Exporter (մետրիկաների համար) և Kafka Bridge (HTTP API)։ Այն նույնիսկ կարող է ավտոմատ կառավարել թոփիքները։ Մենք օգտագործել ենք Strimzi մեր մի քանի նախագծերում, և այն բավական լավ է աշխատել։
Confluent operator
Որպես այլընտրանք՝ կարող եք օգտագործել Confluent-ի հրապարակած Kubernetes Operator-ը։ Այն աշխատում է միայն առևտրային Confluent Platform-ի հետ։ Սակայն այն ընդգրկում է Kafka էկոհամակարգի ավելի շատ արտադրանքներ, քան Strimzi-ն, օրինակ՝ Schema Registry և ksqlDB։
Koperator
Կա ևս մեկ օպերատոր՝ ոչ այնքան հայտնի, բայց բավական խոստումնալից։ Koperator-ը, որը նախկինում կոչվում էր Banzai Cloud Kafka Operator, այժմ պատկանում է Cisco-ին։ Դրանով կարելի է տեղակայել Kafka կլաստեր՝ Cruise Control-ի և Prometheus-ի հետ միասին։ Open Source տարբերակն ունի կրճատ ֆունկցիոնալություն, իսկ enterprise տարբերակը թույլ է տալիս օգտագործել Kafka Connect և ksqlDB։
Ամպային լուծումներ
Մենք հաճախ նկատում ենք, որ բիզնես հաճախորդները նախընտրում են չաշխատեցնել սեփական կլաստեր։ Դա բարդ խնդիր է. պետք է աշխատանքի վերցնել համապատասխան փորձ ունեցող մարդկանց և պահպանել ենթակառուցվածքը։ Ուստի նրանք ընտրում են «Kafka as a service» տիպի արտադրանք։ Անդրադառնանք մի քանի առաջատար ամպային մատակարարների և տեսնենք՝ յուրաքանչյուրն ինչ է առաջարկում։
Amazon Web Services (AWS)
Amazon Web Services-ը տրամադրում է մի քանի արտադրանք, որոնք հարմար են տվյալների հոսքի կամ իրադարձությունների փոխանցման համար։ Հիմնականներն են AWS SQS-ը և Amazon Kinesis-ը։ Եթե նայենք Kinesis-ի ներսը, այն բավական նման է Kafka-ին և նրա որոշ հասկացություններին։ Այդուհանդերձ, մեկը մյուսով պարզապես փոխարինել հնարավոր չէ, քանի որ API-ները համատեղելի չեն։ Բարեբախտաբար, որպես այլ տարբերակ հասանելի են կառավարվող Kafka ինստանսներ։
Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Amazon MSK-ը տալիս է կառավարվող Kafka կլաստեր։ Վճարում եք բրոքերների ինստանսների և պահեստավորման համար (ZooKeeper սերվիսը չի գանձվում)։ Այն ապահովում է բարձր հասանելիություն ավտոմատ multi-az ռեպլիկացիայի միջոցով։ Տվյալները գաղտնագրվում են և՛ պահպանման ժամանակ, և՛ փոխանցման ընթացքում։ Սերվիսն ունի 99.9% հասանելիության SLA, բայց այն վերաբերում է միայն որոշակի սցենարներին, օրինակ՝ հենց Apache Kafka-ի վրիպակներից առաջացած խափանումները բացառվում են։ Ոմանք MSK-ն նկարագրում են որպես միայն մասամբ կառավարվող։ Kafka սերվերի հանգույցների չափերը ընտրելը, արտադրողականությունը հետևելը և անհրաժեշտության դեպքում մասշտաբավորելը ձեր գործն է։ AWS-ը հրապարակել է բավական ընդարձակ ուղեցույց՝ MSK-ում Kafka կլաստերների չափերի ընտրության լավագույն պրակտիկաների մասին։
Amazon MSK Serverless
MSK Serverless-ի նպատակը MSK-ն լիովին կառավարվող սերվիս դարձնելն է։ Վճարումը ժամային է և ներառում է կլաստերը, պարտիցիաների քանակը, պահեստավորումը, ինչպես նաև մուտքային և ելքային տվյալների փոխանցումները։ Ինչպես serverless առաջարկների մեծ մասի դեպքում, որոշ սցենարներում սա կարդարացնի իրեն, մյուսներում՝ ավելի թանկ կնստի։ MSK Serverless-ը չի ընդգրկվում 99.9% SLA-ի մեջ։
MSK Connect
Amazon MSK Connect-ը Kafka Connect-ը մատուցում է որպես կառավարվող սերվիս։ Վճարում եք ժամային՝ կոնեկտորների օգտագործման համար՝ ըստ worker-ների քանակի։ Այն աշխատում է MSK-ի հետ, բայց չի սահմանափակվում դրանով. աջակցվում են նաև այլ Apache Kafka կլաստերներ։
Այլ
AWS-ի պորտֆոլիոյում բացակայում են Kafka Streams-ը և ստանդարտ Schema Registry-ն, թեև կան որոշ փոխարինիչներ։ MSK-ի հաղորդագրությունները և տվյալների հոսքը մշակելու համար կարող եք օգտագործել Amazon Kinesis Data Analytics-ը, իսկ սխեմաների համար՝ AWS Glue Schema Registry-ը։ Դրանից բացի՝ այն միանում է AWS-ի շատ այլ սերվիսների հետ։
Google Cloud Platform (GCP)
GCP-ն չունի կառավարվող Kafka առաջարկ։ Հաղորդագրությունների համար նրա հիմնական արտադրանքներն են Pub/Sub և Pub/Sub Lite-ը։ Lite տարբերակի գաղափարը նման է Kafka-ին, և հետաքրքիր է, որ այն տրամադրում է «Kafka API»։
Pub/Sub Lite with Apache Kafka-like API
Կարող եք համատեղել Kafka client գրադարանը Google Pub/Sub Lite Kafka Shim Client-ի հետ։
Ցավոք, սա ունի որոշ սահմանափակումներ.
- տրանզակցիաները չեն աջակցվում,
- հաղորդագրություններ կարելի է արտադրել կամ սպառել միայն մեկ թոփիքից միաժամանակ,
- հաղորդագրություններ ընտրված պարտիցիա ուղարկելն անհնար է։
Ներսում այն gRPC-ի միջոցով խոսում է Pub/Sub Lite սերվիսների հետ։
Գնագոյացումը հիմնված է ամրագրված հզորության վրա՝ թողունակություն, պահեստավորում և egress։ Թոփիքի տեսակից կախված՝ հասանելիությունը տատանվում է 99.5%-ից մինչև 99.95%։ Սերվիսը համապատասխանում է HIPAA և SOC2 ստանդարտներին։
Azure
Apache Kafka on HDInsight architecture
Azure HDInsight-ը Apache Hadoop, Apache Spark և այլ big data համակարգեր աշխատեցնելու արտադրանք է։ Այն կարելի է օգտագործել նաև Apache Kafka-ի համար։ Վճարումը ներառում է տրամադրված կլաստերը (գինը կախված է հանգույցների քանակից և տեսակից)։ Տվյալները պահպանման ժամանակ գաղտնագրվում են, և սերվիսը երաշխավորում է 99.9% հասանելիություն։ Մոնիթորինգը կատարվում է Azure monitor-ով՝ Amazon MSK-ի հետ բավական նման եղանակով։
Azure Event Hubs with Apache Kafka API
Այս մոտեցումը նման է GCP Pub/Sub Lite-ին։ Կարող եք Event Hubs-ի հետ աշխատել Kafka Client գրադարանների միջոցով։ Այն ունի որոշ սահմանափակումներ, օրինակ՝ log compaction-ը չի աջակցվում։ Kafka Streams-ի փոխարեն Azure-ն առաջարկում է իր հոսքային մշակման սերվիսներից մեկը, որը պարզապես կարելի է օգտագործել Event Hub-ի հետ։ Գնագոյացումը հիմնված է տրամադրված հզորության և ընտրված պլանի վրա։ Հասանելիությունը կախված է պլանից՝ 99.95%-ից մինչև 99.99%։
Արտաքին հոստինգով սերվիսներ
Կոնկրետ ամպին հատուկ սերվիսներից բացի՝ երրորդ կողմի ընկերությունները կաշխատեցնեն և կկառավարեն Kafka-ն ու առնչվող արտադրանքները ձեր նախընտրած ցանկացած ամպում, որոշ դեպքերում՝ նույնիսկ ձեր սեփական ամպային հաշվի ներսում։
Confluent Cloud
Confluent Cloud-ը առաջարկում է Kafka-ի հետ կապված հայտնի սերվիսների ամենալայն շրջանակը։ Այն աջակցում է Connect-ը (ներառյալ Confluent-ի կոնեկտորները), Schema Registry-ն, ինչպես նաև ksqlDB-ը։ Բացի այդ, այն տրամադրում է մի քանի սեփական լուծումներ, օրինակ՝ Stream designer կամ Stream Governance, որոնք կարող են լավ հիմք լինել իրադարձությունների հոսքային պլատֆորմի համար։
Գնագոյացումը որոշվում է մի քանի գործոններով։ Կարող եք ընտրել 3 պլաններից մեկը.
- Basic,
- Standard,
- Dedicated։
Դրանք տարբերվում են հնարավորություններով, գներով և համապատասխանության սերտիֆիկատներով։ Ամենաբարձր պլանն աջակցում է ISO 27011, SOC 3, HIPAA և PCI, ապահովում է multi-az տեղակայում 99,99% հասանելիությամբ, տվյալների գաղտնագրում և անսահման պահեստավորում։ Այն կարող է աշխատել AWS-ում, Azure-ում կամ GCP-ում։ Գինը փոփոխվում է պլանից, ամպային մատակարարից, մուտքային և ելքային տվյալների ծավալից, պահեստավորումից և այլ գործոններից կախված։ Հանգույցների չափերի ընտրություն չկա. սա լիովին կառավարվող տարբերակ է, ինչ-որ չափով MSK Serverless-ի նման։ Սակայն հիշեք, որ MSK-ի սահմանափակումների և SLA-ի բացառությունների պայմաններում Confluent-ն այս առումով զգալիորեն ավելի լավ է։
Instaclustr
Instaclustr-ը բաց կոդով մի շարք նախագծեր է տրամադրում որպես կառավարվող սերվիսներ, օրինակ՝ Kafka, Kafka Connect և Schema Registry։ Այն աշխատում է AWS-ի, Azure-ի և GCP-ի հետ, ինչպես նաև IBM Cloud-ի և DigitalOcean-ի հետ։ Այն համապատասխանում է PCI-DSS, SOC2 և HIPAA ստանդարտներին։ Հատկանշական է, որ ունի 99,999% SLA և կարող է աշխատել ձեր սեփական ամպային հաշվի ներսում։ Իսկ գնագոյացո՞ւմը։ Այն որոշվում է պլանով (Developer կամ Production) և հանգույցների քանակով ու չափով (և՛ Kafka-ի, և՛ Connect-ի համար)։
Հետաքրքիր է, որ Instaclustr-ը ֆորկել է Schema Registry-ն՝ նրա լիցենզիան փոխվելուց առաջ։ Այսօր նրանք աջակցում են նաև Karapace-ը՝ Aiven-ի ստեղծած Schema registry-ի փոխարինիչը։
Aiven
Aiven-ը բավական մոտ է Instaclustr-ին։ Այն տրամադրում է Kafka, Kafka Connect և Karaspace։ Աշխատում է AWS-ի, Azure-ի, GCP-ի, DigitalOcean-ի և UpCloud-ի հետ։ Ընտրելու համար կա 3 գնային պլան՝ Startup, Business և Premium։ Միայն premium-ը կարելի է տեղակայել ձեր սեփական ամպային հաշվում։ Յուրաքանչյուր պլան ունի պահեստավորման տարբեր առավելագույն ծավալ, և դրանցից յուրաքանչյուրի շրջանակում կարող եք ընտրել յուրաքանչյուր վիրտուալ մեքենայի CPU և RAM-ի տարբեր կոնֆիգուրացիաներ։
Ամփոփում
Apache Kafka-ն դառնում է դե ֆակտո ստանդարտ իրադարձություններով և տվյալների հոսքային ճարտարապետությունների համար, այդ պատճառով ամպային յուրաքանչյուր խոշոր մատակարար իր պորտֆոլիոյում ունի Kafka-ի հետ կապված սերվիսներ։ Դրանք տարբերվում են գնային մոդելներով, SLA-ի պայմաններով և հնարավորություններով։ Լիցենզավորման սահմանափակումների պատճառով որոշ նախագծեր SaaS ձևով չի կարող տրամադրել Confluent-ից բացի որևէ մեկը։ Արդյունքում ստեղծվում են այլընտրանքներ կամ ինտեգրացիաներ այլ համանման առկա սերվիսների հետ։
Ո՞ր տարբերակն ընտրել ձեր հաջորդ նախագծի համար։ Պարզ պատասխան չկա։ Դա կախված է։ Դա կախված է SLA-ից, գնից և անվտանգության պահանջներից. ինչ սերտիֆիկատներ են ձեզ պետք, և արդյոք անհրաժեշտ է 100% ավտոմատ կառավարվող միջավայր, թե կարելի է ընդունել որոշակի սպասարկում։ Դա կախված է նախագծի փուլից և արտադրողականության պահանջներից։ Որոշելուց առաջ պետք է կշռադատել բազմաթիվ գործոններ։ Հաջողություն։
Ցանկանո՞ւմ եք Apache Kafka ներդնել ձեր ընկերությունում կամ մասշտաբավորել արդեն առկա լուծումները։ Մենք Confluent Premium Partner ենք, մեր թիմում կան բազմաթիվ սերտիֆիկացված փորձագետներ, և սիրով կօգնենք։