تقدير المشروع
← كل المقالات

Kafka والذكاء الاصطناعي يدخلان حانة...

اكتشف كيف يتكامل Kafka والذكاء الاصطناعي وModel Context Protocol (MCP). تعرّف على كيفية إعداد mcp-confluent مع Claude Code، وإدارة العناقيد، وتجاوز نقاط الألم في واجهة سطر الأوامر.

6 دقائق قراءة
KafkaApache Kafkaالذكاء الاصطناعيconfluentMCP

تشكّل إدارة عناقيد Kafka جزءًا كبيرًا من عملي اليومي. هناك أدوات واجهات رسومية جيدة إلى حد كبير، مثل AKHQ أو Kafkdrop، لكن لنكن صريحين – ففي مواقف كثيرة، ومنها العمل مباشرةً على الوسطاء/المتحكمات (brokers/controllers)، تؤدي أدوات سطر الأوامر العمل على أفضل وجه.

أدوات سطر الأوامر مستقرة إلى حد كبير وتعرف كيف تعمل معها، لكن من يتذكر فعلًا كل واحد من هذه --very-long-switches؟

وأحيانًا تتحدى هذه الأدوات المنطق السليم، مثلًا:

  1. يمكنني تقديم قائمة (مفصولة بفواصل) من خوادم التمهيد، فلا بد أن الخيار هو --bootstrap-servers؟ كلا، إنه --bootstrap-server.
  2. تريد أن تعطي kafka-topics مسار إعداد العميل، فلا بد أن يكون --client-config؟ كلا، إنه --command-config.
  3. هل يأخذ المنتج والمستهلك في الطرفية --command-config أيضًا؟ كلا. إنهما يستخدمان --producer.config و--consumer.config على التوالي. هل أنا الوحيد الذي يرى أن الانتقال من --dash-convention إلى --dot.convention غير منطقي إطلاقًا؟

نحن في أغسطس 2026، والذكاء الاصطناعي في كل مكان حرفيًا. فالسؤال البديهي إذن: هل يجب أن أواصل مصارعة كل هذا يدويًا؟ هل هناك أداة تتولى كل شيء عني؟ وإضافة إلى ذلك، أنا مسؤول نظم من المدرسة القديمة، لذا أفضّل الطرفية على الواجهات اللامعة المصقولة.

لنجرّب mcp-confluent، المصمَّم لحل هذه المشكلة بالتحديد – إدارة عناقيد Kafka بالتحدث إلى الحواسيب كما نتحدث إلى الناس.

إذن ما هو MCP بالضبط؟

قبل الإجابة عن ذلك، لنوضح ما هو النموذج اللغوي الكبير (LLM). النموذج اللغوي الكبير هو مجموعة من المعرفة الثابتة (مع الاعتذار لكل خبراء الذكاء الاصطناعي عن هذا التبسيط الكبير). تؤدي النماذج اللغوية عملًا رائعًا مع أسئلة مثل «كيف..» أو «ما هو..». لكن ماذا عن «افعل شيئًا»؟

MCP (Model Context Protocol) معيار مفتوح، ببساطة، يتيح للنماذج اللغوية الاستفادة من الأنظمة الخارجية.

مع خوادم MCP يمكنك:

  • الوصول إلى بيانات خارجية،
  • استدعاء أدوات،
  • تنفيذ إجراءات نيابةً عن المستخدم،
  • العمل على أنظمة حية بدلًا من الاعتماد على المعرفة الثابتة وحدها.

يكشف MCP عادةً ثلاثة أنواع من القدرات:

  1. أدوات (tools)، أي إجراءات يستطيع المساعد تنفيذها؛
  2. موارد (resources)، أي بيانات يستطيع المساعد الوصول إليها؛
  3. تلقينات (prompts)، أي قوالب محددة مسبقًا للمهام أو سير العمل.

نظرة عامة على Mcp-confluent

اخترت تجربة أداة بنتها Confluent (وتذكّر أن هناك عدة خوادم MCP متعلقة بـ Kafka). يعمل mcp-confluent بطبيعة الحال مع Kafka، لكنه يمتد إلى منظومة Confluent بأكملها – إذ يستطيع التعامل مع Schema Registry وFlink وKafka Connect وغيرها (بحسب طريقة نشر Kafka؛ المزيد عن ذلك لاحقًا).

الإعداد

يقول التوثيق إن إعداده بسيط إلى حد كبير – يكفي تشغيل init:

npx @confluentinc/mcp-confluent --init-config

ثم تحرير الملف.

لكن بصراحة، ذكّرني ذلك بتعليمات رسم البومة:

المشكلة – أن mcp-confluent يركّز بشدة على Confluent Cloud، واستغرقني بعض الوقت لإعداده بشكل صحيح لعنقود Apache Kafka عام.

فيما يلي إعداد نموذجي يتصل بعنقودي Kafka باستخدام طرق مصادقة شائعة: mtls وSCRAM:

server:
  transports: [stdio]
  log_level: "${LOG_LEVEL:-info}"

connections:
  mtls:
    type: direct
    kafka:
      bootstrap_servers: "${BOOTSTRAP_SERVERS:-localhost:29092,localhost:29093,localhost:29094}"
      # No auth block: the client certificate is the identity (mTLS).
      extra_properties:
        security.protocol: "SSL"
        ssl.ca.location: "${SSL_CA_LOCATION:-./clusters/mtls/secrets/ca.crt}"
        ssl.certificate.location: "${SSL_CERT_LOCATION:-./clusters/mtls/secrets/client.crt}"
        ssl.key.location: "${SSL_KEY_LOCATION:-./clusters/mtls/secrets/client.key}"
        ssl.endpoint.identification.algorithm: "https"
    schema_registry:
      endpoint: "${SCHEMA_REGISTRY_ENDPOINT:-https://localhost:8082}"
  scram:
    type: direct
    kafka:
      bootstrap_servers: "${BOOTSTRAP_SERVERS:-localhost:19092,localhost:19093,localhost:19094}"
      # key -> sasl.username, secret -> sasl.password (these are intentionally NOT
      # allowed in extra_properties; they belong in the auth block).
      auth:
        type: api_key
        key: "${KAFKA_USERNAME:-mcp}"
        secret: "${KAFKA_PASSWORD:-mcp-secret}"
      extra_properties:
        security.protocol: "SASL_PLAINTEXT"
        sasl.mechanism: "SCRAM-SHA-512"
    schema_registry:
      endpoint: "${SCHEMA_REGISTRY_ENDPOINT:-http://localhost:8081}"

هناك إعداد واحد مهم بشكل خاص: إذا كنت تخطط لاستخدامه مع عناقيد الإنتاج، فقد ترغب في تحويله إلى وضع القراءة فقط. ولفعل ذلك، أضف ببساطة read_only: true على مستوى الاتصال.

الأدوات المضمنة

لا يكون MCP أذكى من الأدوات التي يوفرها. يفعّل mcp-confluent مجموعة أدوات بحسب نوع نشر Kafka: فهو يكتشف ما إذا كنت تعمل مع Confluent Cloud أو مع نشر محلي.

مجموعة الأدوات الكاملة متاحة فقط لنشر CC؛ أما للنشر المحلي فهي مقتصرة على Kafka وSchema Registry.

وفي الحالتين تحصل أيضًا على إمكانية الوصول إلى التوثيق، مما يجعله محرك بحث فعّالًا جدًا.

وهذه هي القائمة الكاملة للأدوات:

  • Kafka
  • Flink SQL
  • Flink Catalog
  • Flink Diagnostics
  • Connectors
  • Schema Registry
  • Catalog and Tags
  • Organizations, Environments and Clusters
  • Tableflow
  • Tableflow Catalog
  • Metrics
  • Billing

ويعتمد مدى ذكاء MCP كليًا على هذه الأدوات: أي الأدوات متاحة وما الذي تستطيع كل منها فعله. لنرَ ما الذي يستطيعه mcp-confluent.

حان وقت اللعب

تنويه: كنت أستخدم mcp-confluent الإصدار v1.5.0. وقد تتصرف الإصدارات الأحدث بشكل مختلف.

لبيئة التجربة، أعددت عنقودي Kafka بإعدادات مصادقة قياسية إلى حد كبير: SASL/SCRAM وmTLS. كما أنشأت عدة موضوعات (topics)، يعتمد كل منها على Schema Registry بصيغة مختلفة (JSON وAvro وProtobuf).

التكامل مع العملاء

لا معنى كبيرًا لإعداد MCP دون نموذج لغوي. تعليمات مفصلة لإعداد كل عميل موجودة في ملف README. اخترت Claude Code وشغّلت هذا الأمر فقط:

claude mcp add confluent -- npx -y @confluentinc/mcp-confluent --config /path/to/config.yaml

ملاحظة: يشير الإعداد إلى الشهادات بمسار نسبي، لذا شغّل الأمر من المجلد الذي يحتوي على ملف الإعداد.

الأساسيات

لنبدأ بشيء بسيط – ما هي عناقيد kafka المتاحة؟

كما ترى، يكتشف CC فورًا كيف يحدد موقع العنقود، ويصفه، بل ويقترح ما يمكن فعله بعد ذلك. حسنًا، لنمضِ قدمًا.

هذا معقول. كيف يبدو موضوع محدد على أحد العناقيد بالتفصيل؟

ليس تمامًا ما كنت أبحث عنه، لكنه على الأقل شرح ما حدث من خطأ. لنضف NODE_EXTRA_CA_CERTS.

يعتمد عرض إعداد الموضوع التفصيلي على نقطة نهاية REST، لا يوفرها تثبيت Apache Kafka العادي. وهذا عيب كبير.

وبالطريقة نفسها، يمكننا سرد كل الموضوعات:

الإنتاج والاستهلاك

لنجرّب إنتاج بضع رسائل واستهلاكها.

كانت محاولتي الأولى الإنتاج إلى «payments»، الذي يستخدم مخطط PROTOBUF، وقد فشلت:

إذن هذه علة حقيقية لم يبلّغ عنها أحد بعد: أي موضوع (subject) من نوع PROTOBUF سُجّل كنص .proto عبر REST API الخاص بـ Schema Registry – وهي الطريقة المعتادة المطابقة للمواصفات – لا يمكن الإنتاج إليه عبر مسار use-latest. ولا يعمل إلا عندما يُسجَّل المخطط أولًا بواسطة المُسلسِل (serializer) الخاص بهذا SDK نفسه كـ FileDescriptorProto بصيغة base64. إن seed/register-schemas.sh لديك يتبع النهج القياسي، وهذا بالضبط سبب فشله.

وقد مر الإنتاج إلى موضوع بمخطط AVRO دون أي مشكلات:

والاستهلاك يعمل أيضًا:

وما هو لطيف حقًا شرح كيفية عمل الترتيب في Kafka – رائع للتعلّم.

مجموعات المستهلكين

لنجرّب الآن سرد مجموعات المستهلكين (كان console-consumer يعمل في صدفة أخرى).

حقيقة طريفة: عندما طلبت إعادة ضبط الإزاحة (offset) للمجموعة CG1 إلى بداية السجل، اكتشف Claude Code أن خادم MCP لا يستطيع فعل ذلك، لكنه كان ذكيًا بما يكفي ليلاحظ أن Kafka يعمل داخل حاوية docker، فشغّل أداة سطر الأوامر الأصلية kafka-consumer-groups بدلًا من ذلك (ونجح الأمر!).

الخلاصات

هل mcp-confluent مناسب للعمل اليومي مع Kafka؟ بصراحة، لست مقتنعًا. صحيح أنه تعامل مع الأساسيات، لكن كل أمر استلزم انتظار عشرات الثواني. ويمكن أن يخدم جيدًا كأداة لتصحيح الأخطاء أثناء بناء تطبيق يعتمد على Kafka، لكنني عملت كثيرًا على تطبيقات كهذه وتدبرت أمري دون خادم MCP – فقد استخدم الذكاء الاصطناعي ببساطة أدوات سطر الأوامر (كما في تغيير الإزاحة في هذه الجلسة).

ومن الإيجابيات الكبيرة لهذا النهج أداة قراءة التوثيق، لكن أدوات الذكاء الاصطناعي تستطيع تحقيق النتيجة نفسها دون MCP بمجرد تصفح الويب.

أما بالنسبة إليّ، فعلى الأرجح سألتزم بسطر الأوامر على الطريقة القديمة :).