買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉山東未來網(wǎng)絡研究院(紫金山實驗室工業(yè)互聯(lián)網(wǎng)創(chuàng)新應用基地)申請的專利一種基于kafka的消息可控優(yōu)化方法及系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120336370B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510811577.9，技術(shù)領(lǐng)域涉及：G06F16/2453；該發(fā)明授權(quán)一種基于kafka的消息可控優(yōu)化方法及系統(tǒng)是由李克學;艾永健;蔡蒙蒙;蘇黎明設計研發(fā)完成，并于2025-06-18向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于kafka的消息可控優(yōu)化方法及系統(tǒng)在說明書摘要公布了：本發(fā)明涉及消息隊列技術(shù)領(lǐng)域，尤其是涉及一種基于kafka的消息可控優(yōu)化方法及系統(tǒng)，所述方法，包括獲取數(shù)據(jù)屬性，并根據(jù)數(shù)據(jù)屬性計算數(shù)據(jù)優(yōu)先級數(shù)值；基于優(yōu)先級數(shù)據(jù)構(gòu)建位置索引緩存機制，根據(jù)位置索引緩存機制將緩存池中的分區(qū)?偏移量數(shù)據(jù)持久化到索引表，基于持久化的優(yōu)先級索引進行高優(yōu)先級消息的優(yōu)先消費，包括設置消費控制程序架構(gòu)，并對消費隊列隔離和引入消息去重操作；在高優(yōu)先級消息的優(yōu)先消費的前提下進行全鏈路性能調(diào)優(yōu)，基于調(diào)優(yōu)后的全鏈路進行業(yè)務場景擴展，本發(fā)明通過消費控制程序按優(yōu)先級定向拉取消息，突破了Kafka分區(qū)并行消費的無序性，使高優(yōu)先級消息可直接跳轉(zhuǎn)至對應位置優(yōu)先處理，顯著縮短消費延遲。

本發(fā)明授權(quán)一種基于kafka的消息可控優(yōu)化方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種基于kafka的消息可控優(yōu)化方法，其特征在于，包括： 獲取數(shù)據(jù)屬性，并根據(jù)數(shù)據(jù)屬性計算數(shù)據(jù)優(yōu)先級數(shù)值； 基于優(yōu)先級數(shù)據(jù)構(gòu)建位置索引緩存機制，包括在Kafka生產(chǎn)者攔截器鏈中新增優(yōu)先級處理攔截器； 所述基于優(yōu)先級數(shù)據(jù)構(gòu)建位置索引緩存機制，包括在Kafka生產(chǎn)者的攔截器鏈中新增優(yōu)先級處理攔截器，所述攔截器調(diào)用優(yōu)先級判斷程序為消息分配優(yōu)先級等級，在消息發(fā)送成功的回調(diào)函數(shù)中，獲取包含分區(qū)和偏移量的RecordMetadata對象，并為其添加優(yōu)先級等級字段，形成擴展元數(shù)據(jù)，之后構(gòu)建分層緩存池存儲擴展元數(shù)據(jù)； 所述構(gòu)建分層緩存池存儲擴展元數(shù)據(jù)，包括構(gòu)建A-Cache模塊和B-Cache模塊，其中，A-Cache模塊預分配固定大小內(nèi)存塊，每個塊存儲同一優(yōu)先級等級的分區(qū)-偏移量數(shù)據(jù)單元，單個分區(qū)-偏移量數(shù)據(jù)單元容量為N條記錄，并采用無鎖隊列實現(xiàn)快速寫入，所述B-Cache模塊動態(tài)分配內(nèi)存塊，用于存儲超過A-Cache容量的大數(shù)據(jù)單元，并采用LRU算法淘汰冷數(shù)據(jù)，當A-Cache模塊中的分區(qū)-偏移量數(shù)據(jù)單元容量滿時，觸發(fā)批量寫入數(shù)據(jù)優(yōu)先級索引表，單次寫入記錄數(shù)為N； 根據(jù)位置索引緩存機制將緩存池中的分區(qū)-偏移量數(shù)據(jù)持久化到索引表，包括定義索引表結(jié)構(gòu)，并設置批量寫入策略； 基于持久化的優(yōu)先級索引進行高優(yōu)先級消息的優(yōu)先消費，包括設置消費控制程序架構(gòu)，并對消費隊列隔離和引入消息去重操作； 在高優(yōu)先級消息的優(yōu)先消費的前提下進行全鏈路性能調(diào)優(yōu)，包括對緩存池參數(shù)調(diào)優(yōu)； 所述在高優(yōu)先級消息的優(yōu)先消費的前提下進行全鏈路性能調(diào)優(yōu)，包括緩存池參數(shù)動態(tài)調(diào)優(yōu)、消費者端性能優(yōu)化和優(yōu)先級搶占與資源分配，所述緩存池參數(shù)動態(tài)調(diào)，根據(jù)業(yè)務峰值消息量計算A-Cache模塊容量，設定B-Cache模塊最大容量為M，當緩存數(shù)據(jù)超過所設閾值時，觸發(fā)LRU算法強制淘汰冷數(shù)據(jù)單元，所述A-Cache模塊容量計算公式為： ， 其中，N為單個Unit存儲記錄數(shù)，為擴容系數(shù)； 基于調(diào)優(yōu)后的全鏈路進行業(yè)務場景擴展，包括利用KafkaMirrorMaker實現(xiàn)優(yōu)先級索引表的跨數(shù)據(jù)中心同步。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人山東未來網(wǎng)絡研究院(紫金山實驗室工業(yè)互聯(lián)網(wǎng)創(chuàng)新應用基地)，其通訊地址為：250002 山東省濟南市市中區(qū)山東大學國家大學科技園7號樓14層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。