清華大學陸游游獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉清華大學申請的專利嵌入參數緩存的方法、裝置、設備及存儲介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114428797B 。
龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202111605333.3,技術領域涉及:G06F16/2457;該發明授權嵌入參數緩存的方法、裝置、設備及存儲介質是由陸游游;舒繼武;謝旻暉設計研發完成,并于2021-12-24向國家知識產權局提交的專利申請。
本嵌入參數緩存的方法、裝置、設備及存儲介質在說明書摘要公布了:本申請提供的一種嵌入參數緩存的方法、裝置、設備及存儲介質,通過獲取至少一個嵌入表的嵌入參數至CPU內存中,將所述嵌入參數的部分熱點存儲至GPU顯存中;基于霍夫曼編碼的編碼機制,將所述至少一個嵌入表的特征ID編碼生成具有統一格式、全局唯一的全局鍵;采用全局嵌入緩存表為GPU緩存的存儲形式,所述全局嵌入緩存表是以所述全局鍵為鍵,索引所述嵌入表;采用統一索引技術,將預設數量的CPU內存中的索引查詢卸載至GPU顯存中;讀寫緩存時,將嵌入參數的拷貝操作從緩存的索引操作中解耦。采用本技術方案,能夠解決嵌入式的訪問需求以及緩解模型預估時的性能問題。
本發明授權嵌入參數緩存的方法、裝置、設備及存儲介質在權利要求書中公布了:1.一種嵌入參數緩存的方法,其特征在于,所述方法包括: 獲取至少一個嵌入表的嵌入參數至CPU內存中,將所述嵌入參數的部分熱點存儲至GPU顯存中; 基于霍夫曼編碼的編碼機制,將所述至少一個嵌入表的特征ID編碼生成具有統一格式、全局唯一的全局鍵; 采用全局嵌入緩存表為GPU緩存的存儲形式,所述全局嵌入緩存表是以所述全局鍵為鍵,索引所述嵌入表; 采用統一索引技術,將預設數量的CPU內存中的索引查詢卸載至GPU顯存中; 讀寫緩存時,將嵌入參數的拷貝操作從緩存的索引操作中解耦; 其中,所述全局嵌入緩存表由全局索引、顯存池兩部分構成:所述全局索引使用字典數據結構維護所述全局鍵到對應的嵌入參數存儲地址的映射關系,其中嵌入參數存儲地址是GPU顯存地址或CPU內存地址;顯存池管理顯存空間的分配釋放,其包括與嵌入表等數目的子池,每個子池包含若干對應嵌入表維度的若干參數; 所述統一索引技術將一定比例CPU內存層的索引查詢卸載至GPU上的所述全局索引,并使用預設方法標識嵌入參數的存儲地址為CPU內存層;系統在查詢所述全局索引時,可以直接得到命中部分嵌入參數在CPU內存中的地址,無需查詢較慢的CPU內存層的索引。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人清華大學,其通訊地址為:100084 北京市海淀區清華園;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。