Գնահատել նախագիծը
← Բոլոր հրապարակումները

Apache Kafka 4.0.0-ը թողարկվել է. KRaft, հերթեր և ավելի արագ rebalance-ներ

Ծանոթացեք Kafka 4.0-ի նոր հնարավորություններին և արտադրողականության աճին և իմացեք, թե ինչպես կարող են այս փոփոխությունները բարելավել ձեր տվյալների streaming-ի կարգավորումը։

3 րոպե
KafkaApache KafkaՏեխնոլոգիական նորություններ

Kafka 4.0-ը մի հայացքով

2025-ի մարտին Apache Kafka-ն հասավ կարևոր նշաձողի՝ 4.0.0 տարբերակի թողարկմամբ։ Թողարկումը բերում է նոր հնարավորություններ, բարելավումներ, deprecation-ներ և էական թարմացումներ։ Անցնենք Apache Kafka 4.0.0-ի հիմնական կետերով և տեսնենք, թե ինչ են այս փոփոխություններն նշանակում մշակողների, համակարգերի ճարտարապետների և ինտեգրատորների համար։

Մնաս բարով ZooKeeper, կեցցե KRaft

Տարիներ շարունակ Apache Kafka-ն գործարկելը նշանակում էր նաև արտաքին ZooKeeper կլաստեր գործարկել՝ կլաստերի metadata-ն և այնպիսի առաջադրանքներ, ինչպիսին leader election-ն է, մշակելու համար։ Այս լրացուցիչ բաղադրիչը բարդացնում էր շահագործումը թե՛ production-ում, թե՛ տեղային մշակման մեջ։ Այդ դարաշրջանն այժմ պաշտոնապես ավարտվել է։

KIP-500 – առաջին անգամ թողարկվել է որպես early access հնարավորություն Kafka 2.8.0-ում, որը թողարկվել է 2021-ին – արդեն չորս տարի առաջ։ Հետագա թողարկումներում KRaft-ը (Kafka Raft) հասունացավ, դարձավ production-ready և ձեռք բերեց migration հնարավորություններ, որոնք այն հարմար դարձրին իրական deployment-ների համար։

Kafka 4.0.0-ը ամբողջովին հանում է ZooKeeper-ի աջակցությունը։ KRaft-ն այժմ Kafka-ում metadata կառավարելու լռելյայն – և միակ – մեխանիզմն է, ինչը էապես փոխում է Kafka կլաստերների նախագծման և շահագործման ձևը։

Եթե նախատեսում եք ZooKeeper-ով աշխատող կլաստերից անցնել KRaft-ի վրա հիմնվածին, անպայման կարդացեք պաշտոնական migration ուղեցույցը՝ սահմանափակումների, գործիքների և լավագույն պրակտիկաների մասին իմանալու համար։

KIP-848. ավելի խելացի և արագ rebalance-ներ՝ consumer group-ի նոր protocol-ի շնորհիվ

KIP-848-ը բերում է Kafka-ի consumer rebalance protocol-ի հաջորդ սերունդը՝ հիմնովին փոխելով այն եղանակը, որով consumer group-երին partition-ներ են հատկացվում։

Սա շատ կարևոր է լայնածավալ deployment-ների համար, որտեղ հավելվածների վերատեղակայումը կամ consumer-ների վերագործարկումը հաճախ առաջացնում է rebalance-ներ, որոնք վնասում են համակարգի արտադրողականությանը՝ կանգնեցնելով հաղորդագրությունների մշակումը մինչև ամբողջ rebalance փուլի ավարտը։

Ի՞նչն է այլ։

  • Partition-ների կառավարումը և հատկացումն այժմ տեղի են ունենում broker-ում, որը ստանձնում է պարտականություններ, որոնք նախկինում պատկանում էին consumer group-ի leader-ին։
  • Kafka client-ի ներքին տրամաբանությունը շատ ավելի պարզ է։
  • Consumer group-ին միացող նոր անդամը կարող է նոր partition-ներ ստանալ աստիճանաբար։ Նախկինում նա պետք է սպասեր, մինչև բոլոր անդամները հետ վերցնեն/rebalance անեն իրենց partition-ները, ինչը անհարկի մեծացնում էր consumer-ի latency-ն։

Նոր protocol-ը նպատակ ունի զգալիորեն բարձրացնել արտադրողականությունը և կրճատել անգործությունը և latency-ն, հատկապես մեծ deployment-ներում։

Կարող եք նաև դիտել Confluent Current 2024-ից այս թեմայով Confluent-ի ներկայացումը։

KIP-932. հերթեր Apache Kafka 4.0-ում – Early Access Preview

Kafka-ի հաղորդագրությունների մոդելը, որը հիմնված է topic-ների և partition-ների վրա, դարձել է ժամանակակից event-driven ճարտարապետությունների հիմքը։ Սակայն որոշ օգտագործման դեպքեր պահանջում են ավելի ավանդական հերթի սեմանտիկա, ինչպիսին կա RabbitMQ-ում կամ Google Cloud Pub/Sub-ում։ Հաղորդագրությունները անկարգ մշակելը հարմար է, երբ մեկ հաղորդագրության մշակումը կարող է ժամանակավորապես ձախողվել և պետք է կրկնվի։ Տարիների ընթացքում թիմերը կառուցել են բազմաթիվ հատուկ և բարդ retry մեխանիզմներ այս կարիքները բավարարելու համար։

KIP-932-ը Kafka 4.0-ին բերում է Queues հասկացության preview՝ բացելով դուռ այնպիսի workload-ների համար, որոնք նախկինում հնարավոր չէին։

Ինչ է բերում՝

  • Shared group-եր, որոնք թույլ են տալիս հաղորդագրությունների համագործակցային սպառում։
  • Առանձին հաղորդագրությունների հաստատումների և վերաառաքումների աջակցություն։
  • Անկարգ մշակում, օգտակար, երբ որոշ հաղորդագրություններ կարող են ժամանակավորապես ձախողվել և պետք է կրկնվեն։

Սա Kafka-ի զարգացման մեջ մեծ թռիչք է, որը այն դարձնում է իրատեսական տարբերակ այն օգտագործման դեպքերի համար, որոնք նախկինում պահանջում էին առանձին հերթային համակարգ։

Deprecated API-ների հեռացում և Java-ի տարբերակի նոր պահանջներ

Մեծ թողարկումները կարգի բերելու հնարավորություն են, և Kafka 4.0.0-ը օգտվում է դրանից՝ հեռացնելով deprecated API-ները և արդիականացնելով հարթակը։

Հիմնական թարմացումներ՝

  • Java 8-ն այլևս չի աջակցվում։
  • Kafka-ի Clients և Streams-ին այժմ պետք է Java 11+։
  • Kafka-ի Brokers, Connect և Tools-ին պետք է Java 17+։

Սա Kafka-ն համահունչ է դարձնում ժամանակակից Java runtime-ներին, որոնք ապահովում են ավելի լավ արտադրողականություն, GC ալգորիթմներ և երկարաժամկետ աջակցություն։ Java 11-ը գոյություն ունի 2018-ից, իսկ Java 17-ը՝ 2021-ից, ուստի երկու տարբերակներն էլ կայուն են և լայնորեն ընդունված։

Եվս մեկ կարևոր փոփոխություն՝ protocol API-ների հին տարբերակները հեռացվել են։ Kafka 4.0 Java client-ներին այժմ պետք են 2.1 կամ ավելի նոր տարբերակի broker-ներ։ Հեռացվել է նաև v0 և v1 հաղորդագրությունների ձևաչափերի աջակցությունը, ինչը կարող է ազդել ավելի հին producer-ների կամ consumer-ների վրա։

Ամփոփում

KRaft-ը, rebalance-ի նոր protocol-ը և Kafka Queues-ը Kafka 4.0-ի երեք խաղի կանոնները փոխող թարմացումներն են։ Լավ է տեսնել, որ հարթակը ակտիվորեն զարգանում է՝ պարզության, արտադրողականության և նոր օգտագործման դեպքերի հստակ շեշտադրմամբ։

Առևտրային առումով Confluent Platform 8.0-ն (կառուցված Kafka 4.0-ի վրա) սպասվում է 2025-ի ամռանը, և այն հավանաբար այս հնարավորություններից շատերը կբերի enterprise մակարդակի արտադրանքներ։

Նախատեսո՞ւմ եք Kafka 4.0-ի թարմացում կամ ուսումնասիրում եք Kafka Queues-ը և աջակցության կարիք ունեք։
Որպես Confluent Premium Partner՝ մեր թիմը խորը Kafka փորձառություն ունի և կարող է օգնել ձեզ ամբողջ ճանապարհին՝ migration-ից և tuning-ից մինչև ճարտարապետության նախագծում։