蘇州元腦智能科技有限公司王萌獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉蘇州元腦智能科技有限公司申請的專利存儲優化的方法及裝置、電子設備和存儲介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120371221B 。
龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510851604.5,技術領域涉及:G06F3/06;該發明授權存儲優化的方法及裝置、電子設備和存儲介質是由王萌設計研發完成,并于2025-06-24向國家知識產權局提交的專利申請。
本存儲優化的方法及裝置、電子設備和存儲介質在說明書摘要公布了:本申請公開了一種存儲優化的方法及裝置、電子設備和存儲介質,涉及數據處理技術領域,本申請的存儲優化的方法及裝置、電子設備和存儲介質,通過采用保留、選取的策略,將緩存的占用空間壓縮,通過為每一網絡層分配緩存時,利用從低層到高層鍵值緩存逐步遞減的方式分配,以此避免在低層遺漏關鍵詞元,以及避免在高層保存不重要的詞元,之后利用輸入詞元與緩存詞元的注意力聚焦程度即目標注意力值,挑選出緩存詞元中對輸入詞元最具影響力的關鍵詞元進行緩存,之后在剩余詞元中挑選出具有代表性的代表詞元進行存儲,可以只存儲對模型處理數據具有影響的詞元。達到將KV緩存的占用空間壓縮,從而提供對更多請求的處理能力的技術效果。
本發明授權存儲優化的方法及裝置、電子設備和存儲介質在權利要求書中公布了:1.一種存儲優化的方法,其特征在于,包括: 在預設模型中進行鍵值緩存分配處理,得到所述預設模型中多個網絡層各自對應的第一鍵值緩存,其中,所述多個網絡層的層級越高對應的所述第一鍵值緩存越小; 計算多個輸入詞元與所述預設模型中多個緩存鍵值各自對應的多個緩存詞元的目標注意力值,并根據所述第一鍵值緩存以及所述目標注意力值,從所述多個緩存詞元中進行詞元選擇處理,得到關鍵詞元; 根據所述目標注意力值構建多個其他詞元各自對應的詞元向量,并根據所述第一鍵值緩存以及所述詞元向量從所述多個其他詞元中進行詞元選擇處理,得到代表詞元,其中,所述多個其他詞元為所述多個緩存詞元中除所述關鍵詞元外的緩存詞元; 將所述關鍵詞元對應的關鍵鍵值、所述多個輸入詞元各自對應的輸入鍵值以及所述代表詞元對應的代表鍵值進行存儲處理; 其中,在預設模型中進行鍵值緩存分配處理,得到所述預設模型中多個網絡層各自對應的第一鍵值緩存包括: 確定預設總鍵值緩存,其中,所述預設總鍵值緩存包括所述多個網絡層的第一總緩存以及所述多個網絡層的預留總緩存; 根據所述多個網絡層的層級數量、所述多個網絡層各自對應的注意力頭數量以及預設輸入數量,對所述預留總緩存進行分配處理,得到所述多個網絡層各自對應的第一預留緩存,其中,所述預設輸入數量為預先配置的輸入詞元的數量,每個網絡層包括多個注意力頭; 根據所述層級數量、所述多個網絡層各自對應的層級以及預設層級緩存比例,對所述第一總緩存進行分配處理,得到所述多個網絡層各自對應的初始鍵值緩存,其中,所述預設層級緩存比例為預先配置的所述多個網絡層中最低層級網絡層對應的初始鍵值緩存與最高層級網絡層對應的初始鍵值緩存之間的比例; 分別將所述多個網絡層各自對應的所述第一預留緩存以及所述初始鍵值緩存進行相加處理,得到所述多個網絡層各自對應的所述第一鍵值緩存。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人蘇州元腦智能科技有限公司,其通訊地址為:215103 江蘇省蘇州市吳中經濟開發區綜保區經一路1號8幢;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。