買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉海棠元鏡(天津)科技有限公司申請的專利一種降低深度學(xué)習(xí)模型響應(yīng)時延的方法、裝置及存儲介質(zhì)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120123093B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510249305.4，技術(shù)領(lǐng)域涉及：G06F9/50；該發(fā)明授權(quán)一種降低深度學(xué)習(xí)模型響應(yīng)時延的方法、裝置及存儲介質(zhì)是由陳勝設(shè)計研發(fā)完成，并于2025-03-04向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種降低深度學(xué)習(xí)模型響應(yīng)時延的方法、裝置及存儲介質(zhì)在說明書摘要公布了：本發(fā)明涉及一種降低深度學(xué)習(xí)模型響應(yīng)時延的方法、裝置及存儲介質(zhì)，應(yīng)用于人工智能技術(shù)領(lǐng)域，包括：通過滑動窗口采樣獲取歷史負(fù)載，基于歷史負(fù)載使用動態(tài)聯(lián)合預(yù)測機(jī)制獲取初始負(fù)載預(yù)測數(shù)據(jù)，通過對應(yīng)的負(fù)載實際數(shù)據(jù)序列獲取誤差補(bǔ)償值，通過對初始負(fù)載預(yù)測數(shù)據(jù)進(jìn)行誤差補(bǔ)償，得到最終負(fù)載預(yù)測數(shù)據(jù)；基于最終負(fù)載預(yù)測數(shù)據(jù)序列確定未來一段時間所需的實例總數(shù)；通過調(diào)整當(dāng)前正在運行的實例數(shù)量以匹配未來一段時間所需的實例總數(shù)，從而降低大規(guī)模深度學(xué)習(xí)模型推理工作的響應(yīng)時延；本申請通過精確的工作負(fù)載預(yù)測和資源調(diào)度，能夠有效減少模型推理的響應(yīng)時延，提高服務(wù)水平目標(biāo)的達(dá)成率，并降低服務(wù)成本。

本發(fā)明授權(quán)一種降低深度學(xué)習(xí)模型響應(yīng)時延的方法、裝置及存儲介質(zhì)在權(quán)利要求書中公布了：1.一種降低深度學(xué)習(xí)模型響應(yīng)時延的方法，其特征在于，所述方法包括： 通過滑動窗口采樣方法獲取大規(guī)模深度學(xué)習(xí)模型推理工作的歷史負(fù)載數(shù)據(jù)序列； 基于所述歷史負(fù)載數(shù)據(jù)序列，通過預(yù)搭建的多項式回歸模型和長短期記憶網(wǎng)絡(luò)LSTM模型獲取大規(guī)模深度學(xué)習(xí)模型推理工作的初始負(fù)載預(yù)測數(shù)據(jù)序列； 獲取初始負(fù)載預(yù)測數(shù)據(jù)序列對應(yīng)的負(fù)載實際數(shù)據(jù)序列，根據(jù)所述初始負(fù)載預(yù)測數(shù)據(jù)序列以及對應(yīng)的負(fù)載實際數(shù)據(jù)序列獲取工作負(fù)載波動數(shù)據(jù)序列； 基于所述工作負(fù)載波動數(shù)據(jù)序列獲取誤差補(bǔ)償值； 通過所述誤差補(bǔ)償值對初始負(fù)載預(yù)測數(shù)據(jù)序列進(jìn)行誤差補(bǔ)償，得到最終負(fù)載預(yù)測數(shù)據(jù)序列； 基于所述最終負(fù)載預(yù)測數(shù)據(jù)序列確定未來一段時間內(nèi)所需的計算吞吐量，根據(jù)單位實例的吞吐量以及未來一段時間內(nèi)所需的計算吞吐量得到未來一段時間所需的實例總數(shù)； 通過調(diào)整當(dāng)前正在運行的實例數(shù)量以匹配未來一段時間所需的實例總數(shù)，從而降低大規(guī)模深度學(xué)習(xí)模型推理工作的響應(yīng)時延。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人海棠元鏡(天津)科技有限公司，其通訊地址為：300110 天津市南開區(qū)科研東路西側(cè)天津科技廣場5-1-1204-1(天開園)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。