Kafka-ն և AI-ը մտնում են բար...
Իմացեք, թե ինչպես են Kafka-ն, AI-ը և Model Context Protocol-ը (MCP) համակցվում։ Տեսեք, թե ինչպես կարգավորել mcp-confluent-ը Claude Code-ի հետ, կառավարել կլաստերները և հաղթահարել CLI-ի ցավոտ կետերը։
Kafka կլաստերների ադմինիստրավորումը իմ ամենօրյա աշխատանքի մեծ մասն է կազմում։ Կան բավականին լավ UI գործիքներ, ինչպիսիք են AKHQ-ն կամ Kafkdrop-ը, բայց խոստովանենք. շատ իրավիճակներում, այդ թվում՝ brokers/controllers-ի վրա անմիջական աշխատանքի ժամանակ, աշխատանքն ամենալավը կատարում են CLI գործիքները։
CLI գործիքները բավականին կայուն են, և դուք գիտեք, թե ինչպես աշխատել դրանց հետ, բայց ԻՐԱԿԱՆՈՒՄ ո՞վ է հիշում այս բոլոր --very-long-switches-երը։
Երբեմն դրանք հակասում են ողջախոհությանը, օրինակ.
- Ես կարող եմ տրամադրել bootstrap սերվերների (ստորակետով բաժանված) ցուցակ, ուրեմն, անշուշտ, տարբերակը
--bootstrap-serversէ՞։ Ոչ, այն--bootstrap-serverէ։ - Ուզում եք
kafka-topics-ին տալ client կոնֆիգուրացիայի ուղին, ուրեմն դա պետք է լինի--client-config՞։ Ոչ, այն--command-configէ։ - Console producer-ն ու consumer-ն էլ են ընդունում
--command-config՞։ Ոչ։ Նրանք օգտագործում են համապատասխանաբար--producer.configև--consumer.config։ Միայն ե՞ս եմ, որ--dash-convention-ից--dot.convention-ի անցումը լիովին անտրամաբանական եմ համարում։
Այժմ 2026 թվականի օգոստոսն է, և AI-ը բառացիորեն ամենուր է։ Ուստի ակնհայտ հարցն այն է. պե՞տք է շարունակեմ այս ամենի հետ ձեռքով տանջվել։ Կա՞ գործիք, որը կարող է այս ամենը կառավարել իմ փոխարեն։ Դրանից բացի, ես հին դպրոցի ադմին եմ, ուստի նախընտրում եմ տերմինալը փայլուն, մշակված UI-ներից։
Եկեք փորձարկենք mcp-confluent-ը, որը նախատեսված է հենց այս խնդիրը լուծելու համար՝ Kafka կլաստերները կառավարել՝ համակարգիչների հետ խոսելով այնպես, ինչպես խոսում ենք մարդկանց հետ։
Ուրեմն ի՞նչ է հենց MCP-ն
Մինչ դրան պատասխանելը՝ պարզաբանենք, թե ինչ է LLM-ը։ LLM-ը (Large Language Model) ստատիկ գիտելիքի մի մարմին է (ներողություն բոլոր AI փորձագետներից՝ այսքան պարզեցնելու համար)։ LLM-ները հիանալի են գլուխ հանում այնպիսի հարցերից, ինչպիսիք են «Ինչպե՞ս..» կամ «Ի՞նչ է..»։ Բայց ինչ վերաբերում է «Արա ինչ-որ բան» հրահանգին։
MCP-ն (Model Context Protocol) բաց ստանդարտ է, որը, պարզ ասած, թույլ է տալիս LLM-ներին օգտագործել արտաքին համակարգեր։
MCP սերվերներով կարող եք.
- հասնել արտաքին տվյալների,
- կանչել գործիքներ,
- կատարել գործողություններ օգտատիրոջ անունից,
- աշխատել կենդանի համակարգերի հետ՝ միայն ստատիկ գիտելիքի վրա չհենվելու փոխարեն։
MCP-ն սովորաբար բացահայտում է երեք տեսակի հնարավորություններ.
- գործիքներ, այսինքն՝ գործողություններ, որոնք օգնականը կարող է կատարել,
- ռեսուրսներ, այսինքն՝ տվյալներ, որոնց օգնականը կարող է հասնել,
- prompt-եր, այսինքն՝ նախապես սահմանված ձևանմուշներ առաջադրանքների կամ աշխատանքային հոսքերի համար։
Mcp-confluent-ի ակնարկ
Ես որոշեցի փորձարկել Confluent-ի կառուցած գործիքը (նկատի ունեցեք, որ գոյություն ունեն Kafka-ի հետ կապված մի քանի MCP սերվեր)։ mcp-confluent-ը բնականաբար աշխատում է Kafka-ի հետ, բայց ընդգրկում է ամբողջ Confluent էկոհամակարգը. այն կարող է մշակել Schema Registry, Flink, Kafka Connect և այլն (կախված Kafka-ի տեղակայման եղանակից. դրա մասին ավելի ուշ)։
Կոնֆիգուրացիա
Փաստաթղթերն ասում են, որ կարգավորումը բավականին պարզ է՝ պարզապես գործարկեք init.
npx @confluentinc/mcp-confluent --init-config
Եվ ապա խմբագրեք ֆայլը։
Սակայն անկեղծ ասած՝ դա ինձ հիշեցրեց ինչպես բուն նկարելու հրահանգները.
Խնդիրը. mcp-confluent-ը խիստ կենտրոնացած է Confluent Cloud-ի վրա, և ինձ ժամանակ պահանջվեց այն ճիշտ կարգավորելու համար ընդհանուր Apache Kafka կլաստերի համար։
Ստորև բերված է կոնֆիգուրացիայի օրինակ, որը միանում է երկու Kafka կլաստերի՝ օգտագործելով տարածված authentication մեթոդներ՝ mtls և SCRAM.
server:
transports: [stdio]
log_level: "${LOG_LEVEL:-info}"
connections:
mtls:
type: direct
kafka:
bootstrap_servers: "${BOOTSTRAP_SERVERS:-localhost:29092,localhost:29093,localhost:29094}"
# No auth block: the client certificate is the identity (mTLS).
extra_properties:
security.protocol: "SSL"
ssl.ca.location: "${SSL_CA_LOCATION:-./clusters/mtls/secrets/ca.crt}"
ssl.certificate.location: "${SSL_CERT_LOCATION:-./clusters/mtls/secrets/client.crt}"
ssl.key.location: "${SSL_KEY_LOCATION:-./clusters/mtls/secrets/client.key}"
ssl.endpoint.identification.algorithm: "https"
schema_registry:
endpoint: "${SCHEMA_REGISTRY_ENDPOINT:-https://localhost:8082}"
scram:
type: direct
kafka:
bootstrap_servers: "${BOOTSTRAP_SERVERS:-localhost:19092,localhost:19093,localhost:19094}"
# key -> sasl.username, secret -> sasl.password (these are intentionally NOT
# allowed in extra_properties; they belong in the auth block).
auth:
type: api_key
key: "${KAFKA_USERNAME:-mcp}"
secret: "${KAFKA_PASSWORD:-mcp-secret}"
extra_properties:
security.protocol: "SASL_PLAINTEXT"
sasl.mechanism: "SCRAM-SHA-512"
schema_registry:
endpoint: "${SCHEMA_REGISTRY_ENDPOINT:-http://localhost:8081}"
Մեկ կարգավորում հատկապես կարևոր է. եթե նախատեսում եք այն օգտագործել production կլաստերների դեմ, գուցե ցանկանաք այն անցկացնել read-only ռեժիմի։ Դրա համար պարզապես ավելացրեք read_only: true connection մակարդակում։
Ներառված գործիքները
MCP-ն այնքան խելացի է, որքան գործիքները, որ տրամադրում է։ mcp-confluent-ը միացնում է գործիքակազմ՝ ելնելով Kafka-ի տեղակայման տեսակից. այն հայտնաբերում է՝ աշխատում եք Confluent Cloud-ի, թե տեղային տեղակայման հետ։
Ամբողջական գործիքակազմը հասանելի է միայն CC տեղակայման համար. տեղային տեղակայման դեպքում այն սահմանափակվում է Kafka-ով և Schema Registry-ով։
Ամեն դեպքում, դուք նաև հասանելիություն եք ստանում փաստաթղթերին, ինչը այն դարձնում է շատ արդյունավետ որոնողական համակարգ։
Ահա գործիքների ամբողջական ցանկը.
- Kafka
- Flink SQL
- Flink Catalog
- Flink Diagnostics
- Connectors
- Schema Registry
- Catalog and Tags
- Organizations, Environments and Clusters
- Tableflow
- Tableflow Catalog
- Metrics
- Billing
MCP-ի խելացիությունը ամբողջությամբ կախված է այս գործիքներից. որ գործիքներն են հասանելի և ինչ կարող է անել դրանցից յուրաքանչյուրը։ Տեսնենք, թե ինչի է ընդունակ mcp-confluent-ը։
Խաղալու ժամանակն է
Հրաժարում պատասխանատվությունից. ես օգտագործում էի mcp-confluent v1.5.0։ Ավելի նոր տարբերակները կարող են այլ կերպ վարվել։
Իմ խաղահրապարակի համար ես կարգավորեցի 2 Kafka կլաստեր՝ բավականին ստանդարտ authentication կարգավորումներով. SASL/SCRAM և mTLS։ Ես նաև ստեղծեցի մի քանի topic, որոնցից յուրաքանչյուրը հենվում է Schema Registry-ի վրա՝ տարբեր ձևաչափով (JSON, Avro և Protobuf)։
Ինտեգրացիա client-ների հետ
MCP-ն առանց LLM-ի կարգավորելը իմաստ չունի։ Յուրաքանչյուր client-ի կարգավորման մանրամասն հրահանգները README ֆայլում են։ Ես ընտրեցի Claude Code-ը և պարզապես գործարկեցի այս հրամանը.
claude mcp add confluent -- npx -y @confluentinc/mcp-confluent --config /path/to/config.yaml
Նշում. կոնֆիգը վկայագրերին վերաբերում է հարաբերական ուղիով, ուստի հրամանը գործարկեք կոնֆիգը պարունակող դիրեկտորիայից։
Հիմունքներ
Սկսենք ինչ-որ պարզ բանից. ո՞ր kafka կլաստերներն են հասանելի։
Ինչպես տեսնում եք, CC-ն անմիջապես պարզում է, թե ինչպես գտնել կլաստերը, նկարագրում է այն և նույնիսկ առաջարկում է, թե ինչ անել հաջորդը։ Լավ, առաջ գնանք։
Դա խելամիտ է։ Ինչպիսի՞ն է կլաստերներից մեկի կոնկրետ topic-ը մանրամասն։
Ոչ այն, ինչ ես ուզում էի, բայց գոնե բացատրեց, թե ինչն է սխալ գնացել։ Ավելացնենք NODE_EXTRA_CA_CERTS։
Topic-ի մանրամասն կոնֆիգուրացիան դիտելը հենվում է REST endpoint-ի վրա, որը սովորական Apache Kafka տեղադրումը չի տրամադրում։ Դա խոշոր թերություն է։
Նույն կերպ կարող ենք ցուցակագրել բոլոր topic-ները.
Producing և consuming
Փորձենք produce և consume անել մի քանի հաղորդագրություն։
Իմ առաջին փորձը «payments»-ին produce անելն էր, որն օգտագործում է PROTOBUF սխեմա, և այն ձախողվեց.
Այսպիսով, սա իրական վրիպակ է, որի մասին դեռ ոչ ոք չի հաղորդել. ցանկացած PROTOBUF subject, որը գրանցվել է որպես .proto տեքստ Schema Registry REST API-ի միջոցով՝ սովորական, սպեցիֆիկացիային համապատասխան եղանակով, չի կարող produce արվել use-latest ուղով։ Այն աշխատում է միայն այն դեպքում, երբ սխեման սկզբում գրանցվել է այս SDK-ի սեփական սերիալիզատորի կողմից որպես base64 FileDescriptorProto։ Ձեր seed/register-schemas.sh-ը հետևում է ստանդարտ մոտեցմանը, և հենց դրա համար է ձախողվում։
AVRO սխեմայով topic-ին produce անելն անցավ առանց խնդիրների.
Consuming-ն էլ է աշխատում.
Իսկապես հաճելի է այն բացատրությունը, թե ինչպես է աշխատում կարգը Kafka-ում. հիանալի է սովորելու համար։
Consumer group-եր
Հիմա փորձենք ցուցակագրել consumer group-երը (ես console-consumer-ը աշխատեցրել էի մեկ այլ shell-ում)։
Հետաքրքիր փաստ. երբ խնդրեցի CG1-ի offset-ը վերակայել լոգի սկզբին, Claude Code-ը հայտնաբերեց, որ MCP սերվերը չի կարող դա անել, բայց բավականաչափ խելացի էր նկատելու, որ Kafka-ն աշխատում է docker կոնտեյներում, ուստի փոխարենը գործարկեց բնիկ kafka-consumer-groups CLI գործիքը (և այն աշխատեց!)։
Եզրահանգումներ
Mcp-confluent-ը լա՞վ է համապատասխանում Kafka-ի հետ ամենօրյա աշխատանքին։ Անկեղծ ասած, համոզված չեմ։ Իհարկե, այն հաղթահարեց հիմունքները, բայց յուրաքանչյուր հրաման նշանակում էր տասնյակ վայրկյաններ սպասել։ Այն կարող է լավ ծառայել որպես դեբագավորման գործիք՝ Kafka-ի վրա հենվող հավելված կառուցելիս, բայց ես լայնորեն աշխատել եմ նման հավելվածների վրա և յուրացրել եմ առանց MCP սերվերի. AI-ն պարզապես օգտագործում էր CLI գործիքները (ինչպես այս սեսիայում offset-ի փոփոխությունը)։
Այս մոտեցման մեծ պլյուսը փաստաթղթերը կարդալու գործիքն է, բայց AI գործիքները նույն արդյունքին կարող են հասնել առանց MCP-ի՝ պարզապես վեբում զննելով։
Ինչ վերաբերում է ինձ, ես, ամենայն հավանականությամբ, կմնամ հին դպրոցի CLI-ի հետ :)։