科大訊飛股份有限公司葛宇辰獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉科大訊飛股份有限公司申請的專利基于MLA的序列處理方法及相關裝置、系統和存儲介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120296366B 。
龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510781985.4,技術領域涉及:G06F18/20;該發明授權基于MLA的序列處理方法及相關裝置、系統和存儲介質是由葛宇辰;張海俊;許瑞陽;劉丹;汪錦想設計研發完成,并于2025-06-12向國家知識產權局提交的專利申請。
本基于MLA的序列處理方法及相關裝置、系統和存儲介質在說明書摘要公布了:本申請公開了一種基于MLA的序列處理方法及相關裝置、系統和存儲介質,方法包括:基于低秩壓縮的第一查詢特征經解壓縮后進行旋轉位置嵌入,得到目標查詢特征;基于低秩壓縮的第一鍵值特征進行切分,得到不同計算單元待處理的第一子鍵值特征;由不同計算單元對所分配處理的第一子鍵值特征進行旋轉位置嵌入,得到第二子鍵值特征;基于各個計算節點進行通信,得到第一鍵值特征經旋轉位置嵌入的第二鍵值特征;基于第二鍵值特征,得到目標鍵特征和目標值特征;基于目標查詢特征、目標鍵特征和目標值特征執行多頭注意力機制。上述方案,能夠在基于MLA進行序列處理時降低通信量,以提升處理效率。
本發明授權基于MLA的序列處理方法及相關裝置、系統和存儲介質在權利要求書中公布了:1.一種基于MLA的序列處理方法,其特征在于,包括: 基于低秩壓縮的第一查詢特征經解壓縮后進行旋轉位置嵌入,得到多頭注意力機制的目標查詢特征;其中,所述第一查詢特征由待回應文本序列得到; 基于低秩壓縮的第一鍵值特征進行切分,得到各個計算節點中不同計算單元待處理的第一子鍵值特征; 分別由各個所述計算節點中不同所述計算單元對所分配處理的第一子鍵值特征進行旋轉位置嵌入,得到第二子鍵值特征; 基于各個所述計算節點進行通信,得到所述第一鍵值特征經所述旋轉位置嵌入的第二鍵值特征; 基于所述第二鍵值特征,得到多頭注意力機制的目標鍵特征和目標值特征; 基于所述目標查詢特征、所述目標鍵特征和所述目標值特征執行多頭注意力機制,以完成MLA處理; 其中,所述基于低秩壓縮的第一鍵值特征進行切分,得到各個計算節點中不同計算單元待處理的第一子鍵值特征,包括: 基于CP組數和SP組數依次對低秩壓縮的第一鍵值特征進行切分,得到各個計算節點中不同計算單元待處理的第一子鍵值特征; 所述基于各個所述計算節點進行通信,得到所述第一鍵值特征經所述旋轉位置嵌入的第二鍵值特征,包括: 基于不同所述計算節點之間進行CP組通信再基于相同所述計算節點之內進行SP組通信,得到所述第一鍵值特征經所述旋轉位置嵌入的第二鍵值特征。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人科大訊飛股份有限公司,其通訊地址為:230088 安徽省合肥市高新開發區望江西路666號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。