Գնահատել նախագիծը
← Բոլոր հրապարակումները

Kafka-ն և AI-ը մտնում են բար...

Իմացեք, թե ինչպես են Kafka-ն, AI-ը և Model Context Protocol-ը (MCP) համակցվում։ Տեսեք, թե ինչպես կարգավորել mcp-confluent-ը Claude Code-ի հետ, կառավարել կլաստերները և հաղթահարել CLI-ի ցավոտ կետերը։

6 րոպե
KafkaApache KafkaAIconfluentMCP

Kafka կլաստերների ադմինիստրավորումը իմ ամենօրյա աշխատանքի մեծ մասն է կազմում։ Կան բավականին լավ UI գործիքներ, ինչպիսիք են AKHQ-ն կամ Kafkdrop-ը, բայց խոստովանենք. շատ իրավիճակներում, այդ թվում՝ brokers/controllers-ի վրա անմիջական աշխատանքի ժամանակ, աշխատանքն ամենալավը կատարում են CLI գործիքները։

CLI գործիքները բավականին կայուն են, և դուք գիտեք, թե ինչպես աշխատել դրանց հետ, բայց ԻՐԱԿԱՆՈՒՄ ո՞վ է հիշում այս բոլոր --very-long-switches-երը։

Երբեմն դրանք հակասում են ողջախոհությանը, օրինակ.

  1. Ես կարող եմ տրամադրել bootstrap սերվերների (ստորակետով բաժանված) ցուցակ, ուրեմն, անշուշտ, տարբերակը --bootstrap-servers է՞։ Ոչ, այն --bootstrap-server է։
  2. Ուզում եք kafka-topics-ին տալ client կոնֆիգուրացիայի ուղին, ուրեմն դա պետք է լինի --client-config՞։ Ոչ, այն --command-config է։
  3. Console producer-ն ու consumer-ն էլ են ընդունում --command-config՞։ Ոչ։ Նրանք օգտագործում են համապատասխանաբար --producer.config և --consumer.config։ Միայն ե՞ս եմ, որ --dash-convention-ից --dot.convention-ի անցումը լիովին անտրամաբանական եմ համարում։

Այժմ 2026 թվականի օգոստոսն է, և AI-ը բառացիորեն ամենուր է։ Ուստի ակնհայտ հարցն այն է. պե՞տք է շարունակեմ այս ամենի հետ ձեռքով տանջվել։ Կա՞ գործիք, որը կարող է այս ամենը կառավարել իմ փոխարեն։ Դրանից բացի, ես հին դպրոցի ադմին եմ, ուստի նախընտրում եմ տերմինալը փայլուն, մշակված UI-ներից։

Եկեք փորձարկենք mcp-confluent-ը, որը նախատեսված է հենց այս խնդիրը լուծելու համար՝ Kafka կլաստերները կառավարել՝ համակարգիչների հետ խոսելով այնպես, ինչպես խոսում ենք մարդկանց հետ։

Ուրեմն ի՞նչ է հենց MCP-ն

Մինչ դրան պատասխանելը՝ պարզաբանենք, թե ինչ է LLM-ը։ LLM-ը (Large Language Model) ստատիկ գիտելիքի մի մարմին է (ներողություն բոլոր AI փորձագետներից՝ այսքան պարզեցնելու համար)։ LLM-ները հիանալի են գլուխ հանում այնպիսի հարցերից, ինչպիսիք են «Ինչպե՞ս..» կամ «Ի՞նչ է..»։ Բայց ինչ վերաբերում է «Արա ինչ-որ բան» հրահանգին։

MCP-ն (Model Context Protocol) բաց ստանդարտ է, որը, պարզ ասած, թույլ է տալիս LLM-ներին օգտագործել արտաքին համակարգեր։

MCP սերվերներով կարող եք.

  • հասնել արտաքին տվյալների,
  • կանչել գործիքներ,
  • կատարել գործողություններ օգտատիրոջ անունից,
  • աշխատել կենդանի համակարգերի հետ՝ միայն ստատիկ գիտելիքի վրա չհենվելու փոխարեն։

MCP-ն սովորաբար բացահայտում է երեք տեսակի հնարավորություններ.

  1. գործիքներ, այսինքն՝ գործողություններ, որոնք օգնականը կարող է կատարել,
  2. ռեսուրսներ, այսինքն՝ տվյալներ, որոնց օգնականը կարող է հասնել,
  3. prompt-եր, այսինքն՝ նախապես սահմանված ձևանմուշներ առաջադրանքների կամ աշխատանքային հոսքերի համար։

Mcp-confluent-ի ակնարկ

Ես որոշեցի փորձարկել Confluent-ի կառուցած գործիքը (նկատի ունեցեք, որ գոյություն ունեն Kafka-ի հետ կապված մի քանի MCP սերվեր)։ mcp-confluent-ը բնականաբար աշխատում է Kafka-ի հետ, բայց ընդգրկում է ամբողջ Confluent էկոհամակարգը. այն կարող է մշակել Schema Registry, Flink, Kafka Connect և այլն (կախված Kafka-ի տեղակայման եղանակից. դրա մասին ավելի ուշ)։

Կոնֆիգուրացիա

Փաստաթղթերն ասում են, որ կարգավորումը բավականին պարզ է՝ պարզապես գործարկեք init.

npx @confluentinc/mcp-confluent --init-config

Եվ ապա խմբագրեք ֆայլը։

Սակայն անկեղծ ասած՝ դա ինձ հիշեցրեց ինչպես բուն նկարելու հրահանգները.

Խնդիրը. mcp-confluent-ը խիստ կենտրոնացած է Confluent Cloud-ի վրա, և ինձ ժամանակ պահանջվեց այն ճիշտ կարգավորելու համար ընդհանուր Apache Kafka կլաստերի համար։

Ստորև բերված է կոնֆիգուրացիայի օրինակ, որը միանում է երկու Kafka կլաստերի՝ օգտագործելով տարածված authentication մեթոդներ՝ mtls և SCRAM.

server:
  transports: [stdio]
  log_level: "${LOG_LEVEL:-info}"

connections:
  mtls:
    type: direct
    kafka:
      bootstrap_servers: "${BOOTSTRAP_SERVERS:-localhost:29092,localhost:29093,localhost:29094}"
      # No auth block: the client certificate is the identity (mTLS).
      extra_properties:
        security.protocol: "SSL"
        ssl.ca.location: "${SSL_CA_LOCATION:-./clusters/mtls/secrets/ca.crt}"
        ssl.certificate.location: "${SSL_CERT_LOCATION:-./clusters/mtls/secrets/client.crt}"
        ssl.key.location: "${SSL_KEY_LOCATION:-./clusters/mtls/secrets/client.key}"
        ssl.endpoint.identification.algorithm: "https"
    schema_registry:
      endpoint: "${SCHEMA_REGISTRY_ENDPOINT:-https://localhost:8082}"
  scram:
    type: direct
    kafka:
      bootstrap_servers: "${BOOTSTRAP_SERVERS:-localhost:19092,localhost:19093,localhost:19094}"
      # key -> sasl.username, secret -> sasl.password (these are intentionally NOT
      # allowed in extra_properties; they belong in the auth block).
      auth:
        type: api_key
        key: "${KAFKA_USERNAME:-mcp}"
        secret: "${KAFKA_PASSWORD:-mcp-secret}"
      extra_properties:
        security.protocol: "SASL_PLAINTEXT"
        sasl.mechanism: "SCRAM-SHA-512"
    schema_registry:
      endpoint: "${SCHEMA_REGISTRY_ENDPOINT:-http://localhost:8081}"

Մեկ կարգավորում հատկապես կարևոր է. եթե նախատեսում եք այն օգտագործել production կլաստերների դեմ, գուցե ցանկանաք այն անցկացնել read-only ռեժիմի։ Դրա համար պարզապես ավելացրեք read_only: true connection մակարդակում։

Ներառված գործիքները

MCP-ն այնքան խելացի է, որքան գործիքները, որ տրամադրում է։ mcp-confluent-ը միացնում է գործիքակազմ՝ ելնելով Kafka-ի տեղակայման տեսակից. այն հայտնաբերում է՝ աշխատում եք Confluent Cloud-ի, թե տեղային տեղակայման հետ։

Ամբողջական գործիքակազմը հասանելի է միայն CC տեղակայման համար. տեղային տեղակայման դեպքում այն սահմանափակվում է Kafka-ով և Schema Registry-ով։

Ամեն դեպքում, դուք նաև հասանելիություն եք ստանում փաստաթղթերին, ինչը այն դարձնում է շատ արդյունավետ որոնողական համակարգ։

Ահա գործիքների ամբողջական ցանկը.

  • Kafka
  • Flink SQL
  • Flink Catalog
  • Flink Diagnostics
  • Connectors
  • Schema Registry
  • Catalog and Tags
  • Organizations, Environments and Clusters
  • Tableflow
  • Tableflow Catalog
  • Metrics
  • Billing

MCP-ի խելացիությունը ամբողջությամբ կախված է այս գործիքներից. որ գործիքներն են հասանելի և ինչ կարող է անել դրանցից յուրաքանչյուրը։ Տեսնենք, թե ինչի է ընդունակ mcp-confluent-ը։

Խաղալու ժամանակն է

Հրաժարում պատասխանատվությունից. ես օգտագործում էի mcp-confluent v1.5.0։ Ավելի նոր տարբերակները կարող են այլ կերպ վարվել։

Իմ խաղահրապարակի համար ես կարգավորեցի 2 Kafka կլաստեր՝ բավականին ստանդարտ authentication կարգավորումներով. SASL/SCRAM և mTLS։ Ես նաև ստեղծեցի մի քանի topic, որոնցից յուրաքանչյուրը հենվում է Schema Registry-ի վրա՝ տարբեր ձևաչափով (JSON, Avro և Protobuf)։

Ինտեգրացիա client-ների հետ

MCP-ն առանց LLM-ի կարգավորելը իմաստ չունի։ Յուրաքանչյուր client-ի կարգավորման մանրամասն հրահանգները README ֆայլում են։ Ես ընտրեցի Claude Code-ը և պարզապես գործարկեցի այս հրամանը.

claude mcp add confluent -- npx -y @confluentinc/mcp-confluent --config /path/to/config.yaml

Նշում. կոնֆիգը վկայագրերին վերաբերում է հարաբերական ուղիով, ուստի հրամանը գործարկեք կոնֆիգը պարունակող դիրեկտորիայից։

Հիմունքներ

Սկսենք ինչ-որ պարզ բանից. ո՞ր kafka կլաստերներն են հասանելի։

Ինչպես տեսնում եք, CC-ն անմիջապես պարզում է, թե ինչպես գտնել կլաստերը, նկարագրում է այն և նույնիսկ առաջարկում է, թե ինչ անել հաջորդը։ Լավ, առաջ գնանք։

Դա խելամիտ է։ Ինչպիսի՞ն է կլաստերներից մեկի կոնկրետ topic-ը մանրամասն։

Ոչ այն, ինչ ես ուզում էի, բայց գոնե բացատրեց, թե ինչն է սխալ գնացել։ Ավելացնենք NODE_EXTRA_CA_CERTS։

Topic-ի մանրամասն կոնֆիգուրացիան դիտելը հենվում է REST endpoint-ի վրա, որը սովորական Apache Kafka տեղադրումը չի տրամադրում։ Դա խոշոր թերություն է։

Նույն կերպ կարող ենք ցուցակագրել բոլոր topic-ները.

Producing և consuming

Փորձենք produce և consume անել մի քանի հաղորդագրություն։

Իմ առաջին փորձը «payments»-ին produce անելն էր, որն օգտագործում է PROTOBUF սխեմա, և այն ձախողվեց.

Այսպիսով, սա իրական վրիպակ է, որի մասին դեռ ոչ ոք չի հաղորդել. ցանկացած PROTOBUF subject, որը գրանցվել է որպես .proto տեքստ Schema Registry REST API-ի միջոցով՝ սովորական, սպեցիֆիկացիային համապատասխան եղանակով, չի կարող produce արվել use-latest ուղով։ Այն աշխատում է միայն այն դեպքում, երբ սխեման սկզբում գրանցվել է այս SDK-ի սեփական սերիալիզատորի կողմից որպես base64 FileDescriptorProto։ Ձեր seed/register-schemas.sh-ը հետևում է ստանդարտ մոտեցմանը, և հենց դրա համար է ձախողվում։

AVRO սխեմայով topic-ին produce անելն անցավ առանց խնդիրների.

Consuming-ն էլ է աշխատում.

Իսկապես հաճելի է այն բացատրությունը, թե ինչպես է աշխատում կարգը Kafka-ում. հիանալի է սովորելու համար։

Consumer group-եր

Հիմա փորձենք ցուցակագրել consumer group-երը (ես console-consumer-ը աշխատեցրել էի մեկ այլ shell-ում)։

Հետաքրքիր փաստ. երբ խնդրեցի CG1-ի offset-ը վերակայել լոգի սկզբին, Claude Code-ը հայտնաբերեց, որ MCP սերվերը չի կարող դա անել, բայց բավականաչափ խելացի էր նկատելու, որ Kafka-ն աշխատում է docker կոնտեյներում, ուստի փոխարենը գործարկեց բնիկ kafka-consumer-groups CLI գործիքը (և այն աշխատեց!)։

Եզրահանգումներ

Mcp-confluent-ը լա՞վ է համապատասխանում Kafka-ի հետ ամենօրյա աշխատանքին։ Անկեղծ ասած, համոզված չեմ։ Իհարկե, այն հաղթահարեց հիմունքները, բայց յուրաքանչյուր հրաման նշանակում էր տասնյակ վայրկյաններ սպասել։ Այն կարող է լավ ծառայել որպես դեբագավորման գործիք՝ Kafka-ի վրա հենվող հավելված կառուցելիս, բայց ես լայնորեն աշխատել եմ նման հավելվածների վրա և յուրացրել եմ առանց MCP սերվերի. AI-ն պարզապես օգտագործում էր CLI գործիքները (ինչպես այս սեսիայում offset-ի փոփոխությունը)։

Այս մոտեցման մեծ պլյուսը փաստաթղթերը կարդալու գործիքն է, բայց AI գործիքները նույն արդյունքին կարող են հասնել առանց MCP-ի՝ պարզապես վեբում զննելով։

Ինչ վերաբերում է ինձ, ես, ամենայն հավանականությամբ, կմնամ հին դպրոցի CLI-ի հետ :)։