Apache Kafka 4.0.0-ը թողարկվել է. KRaft, հերթեր և ավելի արագ rebalance-ներ
Ծանոթացեք Kafka 4.0-ի նոր հնարավորություններին և արտադրողականության աճին և իմացեք, թե ինչպես կարող են այս փոփոխությունները բարելավել ձեր տվյալների streaming-ի կարգավորումը։
Kafka 4.0-ը մի հայացքով
2025-ի մարտին Apache Kafka-ն հասավ կարևոր նշաձողի՝ 4.0.0 տարբերակի թողարկմամբ։ Թողարկումը բերում է նոր հնարավորություններ, բարելավումներ, deprecation-ներ և էական թարմացումներ։ Անցնենք Apache Kafka 4.0.0-ի հիմնական կետերով և տեսնենք, թե ինչ են այս փոփոխություններն նշանակում մշակողների, համակարգերի ճարտարապետների և ինտեգրատորների համար։
Մնաս բարով ZooKeeper, կեցցե KRaft
Տարիներ շարունակ Apache Kafka-ն գործարկելը նշանակում էր նաև արտաքին ZooKeeper կլաստեր գործարկել՝ կլաստերի metadata-ն և այնպիսի առաջադրանքներ, ինչպիսին leader election-ն է, մշակելու համար։ Այս լրացուցիչ բաղադրիչը բարդացնում էր շահագործումը թե՛ production-ում, թե՛ տեղային մշակման մեջ։ Այդ դարաշրջանն այժմ պաշտոնապես ավարտվել է։
KIP-500 – առաջին անգամ թողարկվել է որպես early access հնարավորություն Kafka 2.8.0-ում, որը թողարկվել է 2021-ին – արդեն չորս տարի առաջ։ Հետագա թողարկումներում KRaft-ը (Kafka Raft) հասունացավ, դարձավ production-ready և ձեռք բերեց migration հնարավորություններ, որոնք այն հարմար դարձրին իրական deployment-ների համար։
Kafka 4.0.0-ը ամբողջովին հանում է ZooKeeper-ի աջակցությունը։ KRaft-ն այժմ Kafka-ում metadata կառավարելու լռելյայն – և միակ – մեխանիզմն է, ինչը էապես փոխում է Kafka կլաստերների նախագծման և շահագործման ձևը։
Եթե նախատեսում եք ZooKeeper-ով աշխատող կլաստերից անցնել KRaft-ի վրա հիմնվածին, անպայման կարդացեք պաշտոնական migration ուղեցույցը՝ սահմանափակումների, գործիքների և լավագույն պրակտիկաների մասին իմանալու համար։
KIP-848. ավելի խելացի և արագ rebalance-ներ՝ consumer group-ի նոր protocol-ի շնորհիվ
KIP-848-ը բերում է Kafka-ի consumer rebalance protocol-ի հաջորդ սերունդը՝ հիմնովին փոխելով այն եղանակը, որով consumer group-երին partition-ներ են հատկացվում։
Սա շատ կարևոր է լայնածավալ deployment-ների համար, որտեղ հավելվածների վերատեղակայումը կամ consumer-ների վերագործարկումը հաճախ առաջացնում է rebalance-ներ, որոնք վնասում են համակարգի արտադրողականությանը՝ կանգնեցնելով հաղորդագրությունների մշակումը մինչև ամբողջ rebalance փուլի ավարտը։
Ի՞նչն է այլ։
- Partition-ների կառավարումը և հատկացումն այժմ տեղի են ունենում broker-ում, որը ստանձնում է պարտականություններ, որոնք նախկինում պատկանում էին consumer group-ի leader-ին։
- Kafka client-ի ներքին տրամաբանությունը շատ ավելի պարզ է։
- Consumer group-ին միացող նոր անդամը կարող է նոր partition-ներ ստանալ աստիճանաբար։ Նախկինում նա պետք է սպասեր, մինչև բոլոր անդամները հետ վերցնեն/rebalance անեն իրենց partition-ները, ինչը անհարկի մեծացնում էր consumer-ի latency-ն։
Նոր protocol-ը նպատակ ունի զգալիորեն բարձրացնել արտադրողականությունը և կրճատել անգործությունը և latency-ն, հատկապես մեծ deployment-ներում։
Կարող եք նաև դիտել Confluent Current 2024-ից այս թեմայով Confluent-ի ներկայացումը։
KIP-932. հերթեր Apache Kafka 4.0-ում – Early Access Preview
Kafka-ի հաղորդագրությունների մոդելը, որը հիմնված է topic-ների և partition-ների վրա, դարձել է ժամանակակից event-driven ճարտարապետությունների հիմքը։ Սակայն որոշ օգտագործման դեպքեր պահանջում են ավելի ավանդական հերթի սեմանտիկա, ինչպիսին կա RabbitMQ-ում կամ Google Cloud Pub/Sub-ում։ Հաղորդագրությունները անկարգ մշակելը հարմար է, երբ մեկ հաղորդագրության մշակումը կարող է ժամանակավորապես ձախողվել և պետք է կրկնվի։ Տարիների ընթացքում թիմերը կառուցել են բազմաթիվ հատուկ և բարդ retry մեխանիզմներ այս կարիքները բավարարելու համար։
KIP-932-ը Kafka 4.0-ին բերում է Queues հասկացության preview՝ բացելով դուռ այնպիսի workload-ների համար, որոնք նախկինում հնարավոր չէին։
Ինչ է բերում՝
- Shared group-եր, որոնք թույլ են տալիս հաղորդագրությունների համագործակցային սպառում։
- Առանձին հաղորդագրությունների հաստատումների և վերաառաքումների աջակցություն։
- Անկարգ մշակում, օգտակար, երբ որոշ հաղորդագրություններ կարող են ժամանակավորապես ձախողվել և պետք է կրկնվեն։
Սա Kafka-ի զարգացման մեջ մեծ թռիչք է, որը այն դարձնում է իրատեսական տարբերակ այն օգտագործման դեպքերի համար, որոնք նախկինում պահանջում էին առանձին հերթային համակարգ։
Deprecated API-ների հեռացում և Java-ի տարբերակի նոր պահանջներ
Մեծ թողարկումները կարգի բերելու հնարավորություն են, և Kafka 4.0.0-ը օգտվում է դրանից՝ հեռացնելով deprecated API-ները և արդիականացնելով հարթակը։
Հիմնական թարմացումներ՝
- Java 8-ն այլևս չի աջակցվում։
- Kafka-ի Clients և Streams-ին այժմ պետք է Java 11+։
- Kafka-ի Brokers, Connect և Tools-ին պետք է Java 17+։
Սա Kafka-ն համահունչ է դարձնում ժամանակակից Java runtime-ներին, որոնք ապահովում են ավելի լավ արտադրողականություն, GC ալգորիթմներ և երկարաժամկետ աջակցություն։ Java 11-ը գոյություն ունի 2018-ից, իսկ Java 17-ը՝ 2021-ից, ուստի երկու տարբերակներն էլ կայուն են և լայնորեն ընդունված։
Եվս մեկ կարևոր փոփոխություն՝ protocol API-ների հին տարբերակները հեռացվել են։ Kafka 4.0 Java client-ներին այժմ պետք են 2.1 կամ ավելի նոր տարբերակի broker-ներ։ Հեռացվել է նաև v0 և v1 հաղորդագրությունների ձևաչափերի աջակցությունը, ինչը կարող է ազդել ավելի հին producer-ների կամ consumer-ների վրա։
Ամփոփում
KRaft-ը, rebalance-ի նոր protocol-ը և Kafka Queues-ը Kafka 4.0-ի երեք խաղի կանոնները փոխող թարմացումներն են։ Լավ է տեսնել, որ հարթակը ակտիվորեն զարգանում է՝ պարզության, արտադրողականության և նոր օգտագործման դեպքերի հստակ շեշտադրմամբ։
Առևտրային առումով Confluent Platform 8.0-ն (կառուցված Kafka 4.0-ի վրա) սպասվում է 2025-ի ամռանը, և այն հավանաբար այս հնարավորություններից շատերը կբերի enterprise մակարդակի արտադրանքներ։
Նախատեսո՞ւմ եք Kafka 4.0-ի թարմացում կամ ուսումնասիրում եք Kafka Queues-ը և աջակցության կարիք ունեք։
Որպես Confluent Premium Partner՝ մեր թիմը խորը Kafka փորձառություն ունի և կարող է օգնել ձեզ ամբողջ ճանապարհին՝ migration-ից և tuning-ից մինչև ճարտարապետության նախագծում։