Գնահատել նախագիծը
← Բոլոր հրապարակումները

Apache Kafka-ի աշխատեցումը ամպում. ինչ տարբերակներ կան

Մտադիր եք օգտագործել Apache Kafka ձեր միկրոսերվիսներում։ Բրոքերների աշխատեցումը սովորական վիրտուալ մեքենաների վրա կամ սեփական ենթակառուցվածքում հաճախ բարդ է։ Դիտարկեք ամպային լուծումը։

7 րոպե
ԱմպApache KafkaAWSKubernetesGoogle Cloud Platform

Ներածություն

Շատ ընկերություններ օգտագործում են Apache Kafka–ն՝ հզոր տեխնոլոգիա, որը կիրառվում է օգտագործման բազմազան սցենարներում և հավելվածներում։ Այս հոդվածում կենտրոնանում ենք Kafka կլաստերի տեղակայման վրա։ Եթե պլանավորում եք Kafka-ի վրա կառուցել իրադարձություններով (event-driven) միկրոսերվիսներ, ապա բրոքերների կարգավորումը մերկ վիրտուալ մեքենաների կամ սեփական ենթակառուցվածքի վրա կարող է չափազանց բարդ դուրս գալ, հատկապես եթե գործնական փորձ չունեք։ Ստորև դիտարկում ենք տարբեր ամպային հարթակների առաջարկած ավելի հեշտ ուղիները։

Kubernetes Operator

Մինչև կոնկրետ ամպերին կապված առաջարկները, սկսենք Kubernetes-ից։ Մեծ է հավանականությունը, որ ձեր կազմակերպությունն արդեն օգտագործում է այն։ Այդ դեպքում խելամիտ ընտրություն կարող է լինել Kafka կլաստերը K8S-ում տեղակայել առկա Kubernetes Operator-ներից որևէ մեկով։ Սա կարող է ամենաէժան ճանապարհը լինել, սակայն հիշեք, որ սպասարկումն ու մոնիթորինգն այդ դեպքում ընկնում են ձեր վրա, ինչը մեծացնում է ընդհանուր ծախսը։

Strimzi

Strimzi-ն, ամենայն հավանականությամբ, Kafka օպերատորներից ամենահայտնին է։ Բրոքերների աշխատեցումից բացի՝ այն աջակցում է Kafka Connect, Mirror Maker, Exporter (մետրիկաների համար) և Kafka Bridge (HTTP API)։ Այն նույնիսկ կարող է ավտոմատ կառավարել թոփիքները։ Մենք օգտագործել ենք Strimzi մեր մի քանի նախագծերում, և այն բավական լավ է աշխատել։

Confluent operator

Որպես այլընտրանք՝ կարող եք օգտագործել Confluent-ի հրապարակած Kubernetes Operator-ը։ Այն աշխատում է միայն առևտրային Confluent Platform-ի հետ։ Սակայն այն ընդգրկում է Kafka էկոհամակարգի ավելի շատ արտադրանքներ, քան Strimzi-ն, օրինակ՝ Schema Registry և ksqlDB։

Koperator

Կա ևս մեկ օպերատոր՝ ոչ այնքան հայտնի, բայց բավական խոստումնալից։ Koperator-ը, որը նախկինում կոչվում էր Banzai Cloud Kafka Operator, այժմ պատկանում է Cisco-ին։ Դրանով կարելի է տեղակայել Kafka կլաստեր՝ Cruise Control-ի և Prometheus-ի հետ միասին։ Open Source տարբերակն ունի կրճատ ֆունկցիոնալություն, իսկ enterprise տարբերակը թույլ է տալիս օգտագործել Kafka Connect և ksqlDB։

Ամպային լուծումներ

Մենք հաճախ նկատում ենք, որ բիզնես հաճախորդները նախընտրում են չաշխատեցնել սեփական կլաստեր։ Դա բարդ խնդիր է. պետք է աշխատանքի վերցնել համապատասխան փորձ ունեցող մարդկանց և պահպանել ենթակառուցվածքը։ Ուստի նրանք ընտրում են «Kafka as a service» տիպի արտադրանք։ Անդրադառնանք մի քանի առաջատար ամպային մատակարարների և տեսնենք՝ յուրաքանչյուրն ինչ է առաջարկում։

Amazon Web Services (AWS)

Amazon Web Services-ը տրամադրում է մի քանի արտադրանք, որոնք հարմար են տվյալների հոսքի կամ իրադարձությունների փոխանցման համար։ Հիմնականներն են AWS SQS-ը և Amazon Kinesis-ը։ Եթե նայենք Kinesis-ի ներսը, այն բավական նման է Kafka-ին և նրա որոշ հասկացություններին։ Այդուհանդերձ, մեկը մյուսով պարզապես փոխարինել հնարավոր չէ, քանի որ API-ները համատեղելի չեն։ Բարեբախտաբար, որպես այլ տարբերակ հասանելի են կառավարվող Kafka ինստանսներ։

Amazon Managed Streaming for Apache Kafka (Amazon MSK)

Amazon MSK-ը տալիս է կառավարվող Kafka կլաստեր։ Վճարում եք բրոքերների ինստանսների և պահեստավորման համար (ZooKeeper սերվիսը չի գանձվում)։ Այն ապահովում է բարձր հասանելիություն ավտոմատ multi-az ռեպլիկացիայի միջոցով։ Տվյալները գաղտնագրվում են և՛ պահպանման ժամանակ, և՛ փոխանցման ընթացքում։ Սերվիսն ունի 99.9% հասանելիության SLA, բայց այն վերաբերում է միայն որոշակի սցենարներին, օրինակ՝ հենց Apache Kafka-ի վրիպակներից առաջացած խափանումները բացառվում են։ Ոմանք MSK-ն նկարագրում են որպես միայն մասամբ կառավարվող։ Kafka սերվերի հանգույցների չափերը ընտրելը, արտադրողականությունը հետևելը և անհրաժեշտության դեպքում մասշտաբավորելը ձեր գործն է։ AWS-ը հրապարակել է բավական ընդարձակ ուղեցույց՝ MSK-ում Kafka կլաստերների չափերի ընտրության լավագույն պրակտիկաների մասին։

Amazon MSK Serverless

MSK Serverless-ի նպատակը MSK-ն լիովին կառավարվող սերվիս դարձնելն է։ Վճարումը ժամային է և ներառում է կլաստերը, պարտիցիաների քանակը, պահեստավորումը, ինչպես նաև մուտքային և ելքային տվյալների փոխանցումները։ Ինչպես serverless առաջարկների մեծ մասի դեպքում, որոշ սցենարներում սա կարդարացնի իրեն, մյուսներում՝ ավելի թանկ կնստի։ MSK Serverless-ը չի ընդգրկվում 99.9% SLA-ի մեջ։

MSK Connect

Amazon MSK Connect-ը Kafka Connect-ը մատուցում է որպես կառավարվող սերվիս։ Վճարում եք ժամային՝ կոնեկտորների օգտագործման համար՝ ըստ worker-ների քանակի։ Այն աշխատում է MSK-ի հետ, բայց չի սահմանափակվում դրանով. աջակցվում են նաև այլ Apache Kafka կլաստերներ։

Այլ

AWS-ի պորտֆոլիոյում բացակայում են Kafka Streams-ը և ստանդարտ Schema Registry-ն, թեև կան որոշ փոխարինիչներ։ MSK-ի հաղորդագրությունները և տվյալների հոսքը մշակելու համար կարող եք օգտագործել Amazon Kinesis Data Analytics-ը, իսկ սխեմաների համար՝ AWS Glue Schema Registry-ը։ Դրանից բացի՝ այն միանում է AWS-ի շատ այլ սերվիսների հետ։

Google Cloud Platform (GCP)

GCP-ն չունի կառավարվող Kafka առաջարկ։ Հաղորդագրությունների համար նրա հիմնական արտադրանքներն են Pub/Sub և Pub/Sub Lite-ը։ Lite տարբերակի գաղափարը նման է Kafka-ին, և հետաքրքիր է, որ այն տրամադրում է «Kafka API»։

Pub/Sub Lite with Apache Kafka-like API

Կարող եք համատեղել Kafka client գրադարանը Google Pub/Sub Lite Kafka Shim Client-ի հետ։
Ցավոք, սա ունի որոշ սահմանափակումներ.

  • տրանզակցիաները չեն աջակցվում,
  • հաղորդագրություններ կարելի է արտադրել կամ սպառել միայն մեկ թոփիքից միաժամանակ,
  • հաղորդագրություններ ընտրված պարտիցիա ուղարկելն անհնար է։

Ներսում այն gRPC-ի միջոցով խոսում է Pub/Sub Lite սերվիսների հետ։

Գնագոյացումը հիմնված է ամրագրված հզորության վրա՝ թողունակություն, պահեստավորում և egress։ Թոփիքի տեսակից կախված՝ հասանելիությունը տատանվում է 99.5%-ից մինչև 99.95%։ Սերվիսը համապատասխանում է HIPAA և SOC2 ստանդարտներին։

Azure

Apache Kafka on HDInsight architecture

Azure HDInsight-ը Apache Hadoop, Apache Spark և այլ big data համակարգեր աշխատեցնելու արտադրանք է։ Այն կարելի է օգտագործել նաև Apache Kafka-ի համար։ Վճարումը ներառում է տրամադրված կլաստերը (գինը կախված է հանգույցների քանակից և տեսակից)։ Տվյալները պահպանման ժամանակ գաղտնագրվում են, և սերվիսը երաշխավորում է 99.9% հասանելիություն։ Մոնիթորինգը կատարվում է Azure monitor-ով՝ Amazon MSK-ի հետ բավական նման եղանակով։

Azure Event Hubs with Apache Kafka API

Այս մոտեցումը նման է GCP Pub/Sub Lite-ին։ Կարող եք Event Hubs-ի հետ աշխատել Kafka Client գրադարանների միջոցով։ Այն ունի որոշ սահմանափակումներ, օրինակ՝ log compaction-ը չի աջակցվում։ Kafka Streams-ի փոխարեն Azure-ն առաջարկում է իր հոսքային մշակման սերվիսներից մեկը, որը պարզապես կարելի է օգտագործել Event Hub-ի հետ։ Գնագոյացումը հիմնված է տրամադրված հզորության և ընտրված պլանի վրա։ Հասանելիությունը կախված է պլանից՝ 99.95%-ից մինչև 99.99%։

Արտաքին հոստինգով սերվիսներ

Կոնկրետ ամպին հատուկ սերվիսներից բացի՝ երրորդ կողմի ընկերությունները կաշխատեցնեն և կկառավարեն Kafka-ն ու առնչվող արտադրանքները ձեր նախընտրած ցանկացած ամպում, որոշ դեպքերում՝ նույնիսկ ձեր սեփական ամպային հաշվի ներսում։

Confluent Cloud

Confluent Cloud-ը առաջարկում է Kafka-ի հետ կապված հայտնի սերվիսների ամենալայն շրջանակը։ Այն աջակցում է Connect-ը (ներառյալ Confluent-ի կոնեկտորները), Schema Registry-ն, ինչպես նաև ksqlDB-ը։ Բացի այդ, այն տրամադրում է մի քանի սեփական լուծումներ, օրինակ՝ Stream designer կամ Stream Governance, որոնք կարող են լավ հիմք լինել իրադարձությունների հոսքային պլատֆորմի համար։

Գնագոյացումը որոշվում է մի քանի գործոններով։ Կարող եք ընտրել 3 պլաններից մեկը.

  • Basic,
  • Standard,
  • Dedicated։

Դրանք տարբերվում են հնարավորություններով, գներով և համապատասխանության սերտիֆիկատներով։ Ամենաբարձր պլանն աջակցում է ISO 27011, SOC 3, HIPAA և PCI, ապահովում է multi-az տեղակայում 99,99% հասանելիությամբ, տվյալների գաղտնագրում և անսահման պահեստավորում։ Այն կարող է աշխատել AWS-ում, Azure-ում կամ GCP-ում։ Գինը փոփոխվում է պլանից, ամպային մատակարարից, մուտքային և ելքային տվյալների ծավալից, պահեստավորումից և այլ գործոններից կախված։ Հանգույցների չափերի ընտրություն չկա. սա լիովին կառավարվող տարբերակ է, ինչ-որ չափով MSK Serverless-ի նման։ Սակայն հիշեք, որ MSK-ի սահմանափակումների և SLA-ի բացառությունների պայմաններում Confluent-ն այս առումով զգալիորեն ավելի լավ է։

Instaclustr

Instaclustr-ը բաց կոդով մի շարք նախագծեր է տրամադրում որպես կառավարվող սերվիսներ, օրինակ՝ Kafka, Kafka Connect և Schema Registry։ Այն աշխատում է AWS-ի, Azure-ի և GCP-ի հետ, ինչպես նաև IBM Cloud-ի և DigitalOcean-ի հետ։ Այն համապատասխանում է PCI-DSS, SOC2 և HIPAA ստանդարտներին։ Հատկանշական է, որ ունի 99,999% SLA և կարող է աշխատել ձեր սեփական ամպային հաշվի ներսում։ Իսկ գնագոյացո՞ւմը։ Այն որոշվում է պլանով (Developer կամ Production) և հանգույցների քանակով ու չափով (և՛ Kafka-ի, և՛ Connect-ի համար)։

Հետաքրքիր է, որ Instaclustr-ը ֆորկել է Schema Registry-ն՝ նրա լիցենզիան փոխվելուց առաջ։ Այսօր նրանք աջակցում են նաև Karapace-ը՝ Aiven-ի ստեղծած Schema registry-ի փոխարինիչը։

Aiven

Aiven-ը բավական մոտ է Instaclustr-ին։ Այն տրամադրում է Kafka, Kafka Connect և Karaspace։ Աշխատում է AWS-ի, Azure-ի, GCP-ի, DigitalOcean-ի և UpCloud-ի հետ։ Ընտրելու համար կա 3 գնային պլան՝ Startup, Business և Premium։ Միայն premium-ը կարելի է տեղակայել ձեր սեփական ամպային հաշվում։ Յուրաքանչյուր պլան ունի պահեստավորման տարբեր առավելագույն ծավալ, և դրանցից յուրաքանչյուրի շրջանակում կարող եք ընտրել յուրաքանչյուր վիրտուալ մեքենայի CPU և RAM-ի տարբեր կոնֆիգուրացիաներ։

Ամփոփում

Apache Kafka-ն դառնում է դե ֆակտո ստանդարտ իրադարձություններով և տվյալների հոսքային ճարտարապետությունների համար, այդ պատճառով ամպային յուրաքանչյուր խոշոր մատակարար իր պորտֆոլիոյում ունի Kafka-ի հետ կապված սերվիսներ։ Դրանք տարբերվում են գնային մոդելներով, SLA-ի պայմաններով և հնարավորություններով։ Լիցենզավորման սահմանափակումների պատճառով որոշ նախագծեր SaaS ձևով չի կարող տրամադրել Confluent-ից բացի որևէ մեկը։ Արդյունքում ստեղծվում են այլընտրանքներ կամ ինտեգրացիաներ այլ համանման առկա սերվիսների հետ։

Ո՞ր տարբերակն ընտրել ձեր հաջորդ նախագծի համար։ Պարզ պատասխան չկա։ Դա կախված է։ Դա կախված է SLA-ից, գնից և անվտանգության պահանջներից. ինչ սերտիֆիկատներ են ձեզ պետք, և արդյոք անհրաժեշտ է 100% ավտոմատ կառավարվող միջավայր, թե կարելի է ընդունել որոշակի սպասարկում։ Դա կախված է նախագծի փուլից և արտադրողականության պահանջներից։ Որոշելուց առաջ պետք է կշռադատել բազմաթիվ գործոններ։ Հաջողություն։

Ցանկանո՞ւմ եք Apache Kafka ներդնել ձեր ընկերությունում կամ մասշտաբավորել արդեն առկա լուծումները։ Մենք Confluent Premium Partner ենք, մեր թիմում կան բազմաթիվ սերտիֆիկացված փորձագետներ, և սիրով կօգնենք։