تقدير المشروع
← كل المقالات

تشغيل Apache Kafka في السحابة – ما الخيارات المتاحة؟

هل تخطط لاستخدام Apache Kafka في خدماتك المصغّرة؟ غالباً ما يكون تشغيل الوسطاء (brokers) على أجهزة افتراضية عادية أو داخل مقرّ الشركة معقداً. فكّر في عرض سحابي بدلاً من ذلك.

7 دقائق قراءة
السحابةApache KafkaAWSKubernetesGoogle Cloud Platform

مقدمة

تعتمد شركات كثيرة على Apache Kafka، وهي تقنية قوية تُستخدم في طيف واسع من الحالات والتطبيقات. نركّز في هذا المقال على إعداد عنقود Kafka. إذا كنت تخطط لبناء خدمات مصغّرة قائمة على الأحداث فوق Kafka، فقد يكون إعداد الوسطاء على أجهزة افتراضية خام أو داخل مقرّ الشركة معقداً للغاية، خصوصاً إذا كانت تنقصك الخبرة العملية. سنستعرض فيما يلي المسارات الأسهل التي تقدمها منصات سحابية مختلفة.

مشغّل Kubernetes

قبل أن ننتقل إلى العروض المرتبطة بسحابات بعينها، لنبدأ بـ Kubernetes. من المرجح أن مؤسستك تشغّله بالفعل. في هذه الحالة قد يكون الخيار المنطقي نشر عنقود Kafka على K8S باستخدام أحد مشغّلات Kubernetes الموجودة. قد يكون هذا أقل المسارات كلفة، لكن تذكّر أن الصيانة والمراقبة تقعان حينها على عاتقك، وهذا يرفع التكلفة الإجمالية.

Strimzi

Strimzi هو على الأرجح أشهر مشغّل لـ Kafka. فإلى جانب تشغيل الوسطاء، يدعم Kafka Connect وMirror Maker وExporter (للمقاييس) وKafka Bridge (واجهة HTTP API). بل يمكنه إدارة المواضيع (topics) تلقائياً. اعتمدنا على Strimzi في عدة مشاريع لنا وكان أداؤه جيداً إلى حد بعيد.

مشغّل Confluent

يمكنك بدلاً من ذلك استخدام مشغّل Kubernetes الذي نشرته Confluent. وهو يعمل فقط مع Confluent Platform التجارية. في المقابل، يغطي منتجات أكثر من منظومة Kafka مقارنة بـ Strimzi – مثل Schema Registry وksqlDB.

Koperator

هناك مشغّل آخر أقل شهرة لكنه واعد جداً. Koperator، الذي كان يُسمّى سابقاً Banzai Cloud Kafka Operator، أصبح الآن ملكاً لشركة Cisco. يتيح لك نشر عنقود Kafka مع Cruise Control وPrometheus. النسخة مفتوحة المصدر بميزات أقل، بينما تتيح النسخة المؤسسية استخدام Kafka Connect وksqlDB.

حلول خاصة بكل سحابة

نلاحظ كثيراً أن عملاء الأعمال يفضّلون ألا يشغّلوا عنقوداً خاصاً بهم. فهي مهمة معقدة: عليك توظيف أشخاص ذوي خبرة مناسبة وإبقاء البنية التحتية قيد التشغيل. لذلك يختارون منتجاً من نوع «Kafka كخدمة». لنستعرض عدة مزودي سحابة رئيسيين ونرى ما يقدمه كل منهم.

Amazon Web Services (AWS)

تقدّم Amazon Web Services عدة منتجات مناسبة لبث البيانات أو تمرير الأحداث. أهمها AWS SQS وAmazon Kinesis. وإذا نظرت إلى ما تحت غطاء Kinesis فستجده يشبه Kafka وبعض مفاهيمه إلى حد كبير. ومع ذلك لا يمكنك استبدال أحدهما بالآخر ببساطة، لأن واجهات API غير متوافقة. لحسن الحظ، تتوافر نسخ Kafka مُدارة كخيار آخر.

Amazon Managed Streaming for Apache Kafka (Amazon MSK)

يمنحك Amazon MSK عنقود Kafka مُداراً. تُحاسَب على نُسخ الوسطاء والتخزين (خدمة ZooKeeper غير مشمولة بالرسوم). يوفّر توافراً عالياً عبر النسخ المتماثل التلقائي بين عدة مناطق توافر (multi-az). تُشفَّر البيانات أثناء التخزين وأثناء النقل. تأتي الخدمة باتفاقية مستوى خدمة (SLA) بنسبة تشغيل 99.9%، لكنها تنطبق على سيناريوهات معينة فقط، فمثلاً تُستثنى الأعطال الناتجة عن أخطاء في Apache Kafka نفسه. يصف البعض MSK بأنه مُدار جزئياً فقط. فأنت من يختار أحجام عقد خوادم Kafka ويتتبع الأداء ويوسّع النطاق عند الحاجة. نشرت AWS دليلاً مفصلاً عن أفضل الممارسات لتحديد أحجام عناقيد Kafka على MSK.

Amazon MSK Serverless

يهدف MSK Serverless إلى تحويل MSK إلى خدمة مُدارة بالكامل. المحاسبة بالساعة وتشمل العنقود وعدد الأقسام (partitions) والتخزين ونقل البيانات الداخل والخارج. وكما هو الحال مع معظم عروض serverless، سيكون هذا مجدياً في بعض الحالات ومكلفاً أكثر في غيرها. خدمة MSK Serverless غير مشمولة باتفاقية SLA بنسبة 99.9%.

MSK Connect

يقدّم Amazon MSK Connect خدمة Kafka Connect كخدمة مُدارة. تدفع بالساعة مقابل استخدام الموصّلات (connectors) بحسب عدد العمّال (workers). يعمل مع MSK لكنه غير مقصور عليه – فعناقيد Apache Kafka الأخرى مدعومة أيضاً.

أخرى

تفتقر محفظة AWS إلى Kafka Streams وSchema Registry القياسي، مع أنها تقدّم بعض البدائل. لمعالجة رسائل MSK وبث البيانات يمكنك استخدام Amazon Kinesis Data Analytics، كما يمكنك الاعتماد على AWS Glue Schema Registry. علاوة على ذلك، يتكامل مع كثير من خدمات AWS الأخرى.

Google Cloud Platform (GCP)

لا تملك GCP عرض Kafka مُداراً. وفي مجال المراسلة، منتجاتها الرئيسية هي Pub/Sub وPub/Sub Lite. فكرة النسخة Lite تشبه Kafka، والمثير للاهتمام أنها تتيح «Kafka API».

Pub/Sub Lite مع واجهة شبيهة بـ Apache Kafka

يمكنك الجمع بين مكتبة عميل Kafka وGoogle Pub/Sub Lite Kafka Shim Client.
للأسف يأتي ذلك مع قيود معينة:

  • المعاملات (transactions) غير مدعومة،
  • يمكنك إنتاج الرسائل أو استهلاكها من موضوع واحد فقط في كل مرة،
  • إرسال الرسائل إلى قسم محدد غير ممكن.

وفي الخلفية يتواصل مع خدمات Pub/Sub Lite عبر gRPC.

تعتمد الأسعار على السعة المحجوزة – الإنتاجية والتخزين والبيانات الخارجة. بحسب نوع الموضوع، تتراوح نسبة التشغيل بين 99.5% و99.95%. الخدمة متوافقة مع HIPAA وSOC2.

Azure

بنية Apache Kafka على HDInsight

Azure HDInsight منتج لتشغيل Apache Hadoop وApache Spark وأنظمة البيانات الضخمة الأخرى. يمكنك استخدامه مع Apache Kafka أيضاً. تشمل الفاتورة العنقود المُجهَّز (يعتمد السعر على عدد العقد ونوعها). تُشفَّر البيانات أثناء التخزين وتضمن الخدمة نسبة تشغيل 99.9%. تتم المراقبة عبر Azure monitor بطريقة قريبة جداً من Amazon MSK.

Azure Event Hubs مع Apache Kafka API

يشبه هذا النهج GCP Pub/Sub Lite. يمكنك العمل مع Event Hubs عبر مكتبات عميل Kafka. وله قيود معينة، فمثلاً ضغط السجلات (log compaction) غير مدعوم. وبدلاً من Kafka Streams، تقترح Azure إحدى خدمات معالجة التدفقات لديها التي يمكن استخدامها مع Event Hub ببساطة. تعتمد الأسعار على السعة المجهّزة والخطة المختارة. تختلف نسبة التشغيل بحسب الخطة، من 99.95% إلى 99.99%.

خدمات مستضافة خارجياً

إلى جانب الخدمات الخاصة بكل سحابة، تتولى شركات خارجية تشغيل Kafka والمنتجات المرتبطة به وإدارتها في أي سحابة تفضّلها، وفي بعض الحالات حتى داخل حساب السحابة الخاص بك.

Confluent Cloud

تقدّم Confluent Cloud أوسع نطاق من الخدمات المعروفة المرتبطة بـ Kafka. فهي تدعم Connect (بما في ذلك موصّلات Confluent) وSchema Registry، وكذلك ksqlDB. كما تقدّم عدة حلول مملوكة – مثل Stream designer أو Stream Governance – يمكن أن تكون أساساً جيداً لمنصة بث الأحداث.

يُحدَّد السعر بعدة عوامل. يمكنك اختيار إحدى 3 خطط:

  • Basic،
  • Standard،
  • Dedicated.

تختلف في الميزات والأسعار وشهادات الامتثال. تدعم الخطة العليا ISO 27011 وSOC 3 وHIPAA وPCI، وتوفّر نشراً متعدد مناطق التوافر بنسبة تشغيل 99,99% وتشفير البيانات وتخزيناً غير محدود. ويمكن تشغيلها على AWS أو Azure أو GCP. يختلف السعر بحسب الخطة ومزود السحابة وحجم البيانات الداخلة والخارجة والتخزين وعوامل أخرى. لا يوجد تحديد لأحجام العقد – فهذا خيار مُدار بالكامل، يشبه إلى حد ما MSK Serverless. لكن ضع في اعتبارك أنه نظراً إلى قيود MSK واستثناءات SLA، تتفوق Confluent بوضوح في هذا الجانب.

Instaclustr

تقدّم Instaclustr مجموعة من المشاريع مفتوحة المصدر كخدمات مُدارة – مثل Kafka وKafka Connect وSchema Registry. تعمل مع AWS وAzure وGCP، وكذلك مع IBM Cloud وDigitalOcean. وهي متوافقة مع PCI-DSS وSOC2 وHIPAA. والجدير بالذكر أنها تأتي باتفاقية SLA بنسبة 99,999% ويمكنها العمل داخل حساب السحابة الخاص بك. وماذا عن الأسعار؟ تُحدَّد بحسب الخطة (Developer أو Production) وبعدد العقد وحجمها (لكل من Kafka وConnect).

ومن المثير للاهتمام أن Instaclustr أنشأت نسخة متفرعة من Schema Registry قبل تغيير ترخيصه. واليوم تدعم أيضاً Karapace – بديل Schema registry الذي بنته Aiven.

Aiven

Aiven قريبة جداً من Instaclustr. تقدّم Kafka وKafka Connect وKaraspace. وتعمل مع AWS وAzure وGCP وDigitalOcean وUpCloud. هناك 3 خطط أسعار للاختيار منها: Startup وBusiness وPremium. خطة Premium وحدها يمكن نشرها داخل حساب السحابة الخاص بك. لكل خطة حد أقصى مختلف للتخزين، وضمن كل منها يمكنك الاختيار من بين تهيئات متنوعة للمعالج والذاكرة لكل جهاز افتراضي.

الخلاصة

يتحول Apache Kafka إلى المعيار الفعلي لبُنى الأحداث وبث البيانات، ولهذا يضم كل مزود سحابة كبير خدمات مرتبطة بـ Kafka في محفظته. وتختلف هذه الخدمات في نماذج التسعير وشروط SLA والميزات. وبسبب قيود الترخيص، لا يمكن لأحد غير Confluent تقديم بعض المشاريع كـ SaaS. ونتيجة لذلك تُبنى بدائل، أو تكاملات مع خدمات أخرى مشابهة قائمة.

أي خيار تختار لمشروعك القادم؟ لا توجد إجابة بسيطة. الأمر يعتمد! يعتمد على متطلبات SLA والأسعار والأمان – أي الشهادات التي تحتاجها، وهل تتطلب بيئة مُدارة آلياً بنسبة 100% أم يمكنك قبول بعض الصيانة. ويعتمد على مرحلة المشروع ومتطلبات الأداء. هناك عوامل كثيرة يجب موازنتها قبل أن تقرر. بالتوفيق!

هل تريد اعتماد Apache Kafka في شركتك أو توسيع الحلول الموجودة لديك؟ نحن شريك Confluent Premium ولدينا خبراء معتمدون كثر، وسنساعدك بكل سرور!