買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰，真高效！ 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)！專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉之江實(shí)驗(yàn)室申請(qǐng)的專(zhuān)利大模型的內(nèi)存管理方法及裝置、電子設(shè)備、可讀存儲(chǔ)介質(zhì)獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán)，本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120353603B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為：202510821422.3，技術(shù)領(lǐng)域涉及：G06F9/50；該發(fā)明授權(quán)大模型的內(nèi)存管理方法及裝置、電子設(shè)備、可讀存儲(chǔ)介質(zhì)是由白炳潮;張宏;高翔設(shè)計(jì)研發(fā)完成，并于2025-06-19向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。

本大模型的內(nèi)存管理方法及裝置、電子設(shè)備、可讀存儲(chǔ)介質(zhì)在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)一種大模型的內(nèi)存管理方法及裝置、電子設(shè)備、可讀存儲(chǔ)介質(zhì)，方法包括將數(shù)據(jù)輸入到訓(xùn)練后的文本長(zhǎng)度預(yù)估模型，估計(jì)大模型輸出文本長(zhǎng)度并對(duì)長(zhǎng)度進(jìn)行向上調(diào)整成整數(shù)，根據(jù)內(nèi)存頁(yè)大小和kvcache維度計(jì)算cache分塊數(shù)量，并將cache分塊數(shù)量向上調(diào)整成整數(shù)；最后為大模型解碼分配kvcache內(nèi)存塊。本發(fā)明通過(guò)提前分配足夠的顯存或內(nèi)存，有效避免動(dòng)態(tài)調(diào)整帶來(lái)的延遲；在批量推理場(chǎng)景中，能夠合理的規(guī)劃計(jì)算資源，提高吞吐量；在流式輸出場(chǎng)景中，在逐詞生成的場(chǎng)景下，本發(fā)明預(yù)估輸出長(zhǎng)度可以?xún)?yōu)化用戶(hù)體驗(yàn)，如進(jìn)度條顯示或提前截?cái)嗵幚怼?

本發(fā)明授權(quán)大模型的內(nèi)存管理方法及裝置、電子設(shè)備、可讀存儲(chǔ)介質(zhì)在權(quán)利要求書(shū)中公布了：1.一種大模型的內(nèi)存管理方法，其特征在于，包括如下步驟： 步驟一：構(gòu)建并訓(xùn)練文本長(zhǎng)度預(yù)估模型； 所述文本長(zhǎng)度預(yù)估模型的輸入為文本數(shù)據(jù)和大模型的相關(guān)信息，輸出為大模型輸出文本的長(zhǎng)度；所述文本長(zhǎng)度預(yù)估模型包括依次連接的輸入層、嵌入層、三個(gè)串聯(lián)的基于MQA的解碼器結(jié)構(gòu)、第三均方根歸一化層、線性投影層和輸出層；所述基于MQA的解碼器結(jié)構(gòu)包括第一均方根歸一化層、多查詢(xún)注意力層、第一拼接層、第二均方根歸一化層、前饋神經(jīng)網(wǎng)絡(luò)和第二拼接層；所述多查詢(xún)注意力層共享部分注意力頭，即共享Key和Value，用于捕捉上下文關(guān)系，從不同的子空間中學(xué)習(xí)信息；同時(shí)對(duì)不同的信息賦予不同的權(quán)重，并將學(xué)習(xí)到的信息和對(duì)應(yīng)的權(quán)重進(jìn)行計(jì)算，并將計(jì)算結(jié)果作為特征輸出；所述第一拼接層用于將第一均方根歸一化層的輸入和多查詢(xún)注意力層的輸出進(jìn)行拼接；所述前饋神經(jīng)網(wǎng)絡(luò)用于對(duì)第二均方根歸一化層歸一化后的結(jié)果進(jìn)行非線性的映射操作；所述第二拼接層用于將將前饋神經(jīng)網(wǎng)絡(luò)的輸出和第一拼接層的輸出執(zhí)行與第一拼接層相同的拼接操作； 步驟二：對(duì)步驟一的文本長(zhǎng)度預(yù)估模型輸出的預(yù)測(cè)文本長(zhǎng)度向上調(diào)整成整數(shù)； 步驟三：根據(jù)向上調(diào)整后的文本長(zhǎng)度、內(nèi)存頁(yè)大小和kvcache維度計(jì)算cache分塊數(shù)量； 步驟四：將所述cache分塊數(shù)量向上調(diào)整成整數(shù)； 步驟五：根據(jù)向上調(diào)整后的cache分塊數(shù)量，為大模型解碼分配kvcache內(nèi)存塊。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù)，可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)＠麢?quán)人之江實(shí)驗(yàn)室，其通訊地址為：311121 浙江省杭州市余杭區(qū)中泰街道科創(chuàng)大道之江實(shí)驗(yàn)室；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。