買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉浪潮云洲工業(yè)互聯(lián)網(wǎng)有限公司申請的專利一種基于邊緣設(shè)備的大模型運(yùn)行方法、裝置、設(shè)備及介質(zhì)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120196449B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510668615.X，技術(shù)領(lǐng)域涉及：G06F9/50；該發(fā)明授權(quán)一種基于邊緣設(shè)備的大模型運(yùn)行方法、裝置、設(shè)備及介質(zhì)是由張文強(qiáng);齊光鵬;商廣勇;羅濤;徐偉設(shè)計研發(fā)完成，并于2025-05-23向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于邊緣設(shè)備的大模型運(yùn)行方法、裝置、設(shè)備及介質(zhì)在說明書摘要公布了：本申請公開了一種基于邊緣設(shè)備的大模型運(yùn)行方法、裝置、設(shè)備及介質(zhì)，涉及人工智能技術(shù)領(lǐng)域，包括：對待運(yùn)行大模型進(jìn)行預(yù)處理，并基于邊緣設(shè)備的硬件特性對預(yù)處理后的待運(yùn)行大模型進(jìn)行優(yōu)化；基于當(dāng)前邊緣設(shè)備的資源情況，確定優(yōu)化后模型對應(yīng)的待執(zhí)行任務(wù)的任務(wù)優(yōu)先級；根據(jù)任務(wù)優(yōu)先級將待執(zhí)行任務(wù)分配至預(yù)先搭建的模型協(xié)同運(yùn)行框架中，并在分配的過程中，對待執(zhí)行任務(wù)進(jìn)行分析，以根據(jù)分析結(jié)果將待執(zhí)行任務(wù)部署至模型協(xié)同運(yùn)行框架的負(fù)載均衡節(jié)點上；利用預(yù)設(shè)數(shù)據(jù)緩存管理算法對相關(guān)參數(shù)數(shù)據(jù)進(jìn)行管理，以將相關(guān)參數(shù)數(shù)據(jù)中待使用數(shù)據(jù)預(yù)加載至邊緣設(shè)備中，以便優(yōu)化后模型通過模型協(xié)同運(yùn)行框架的負(fù)載均衡節(jié)點，基于待使用數(shù)據(jù)執(zhí)行相應(yīng)的待執(zhí)行任務(wù)。

本發(fā)明授權(quán)一種基于邊緣設(shè)備的大模型運(yùn)行方法、裝置、設(shè)備及介質(zhì)在權(quán)利要求書中公布了：1.一種基于邊緣設(shè)備的大模型運(yùn)行方法，其特征在于，包括： 對待運(yùn)行大模型進(jìn)行預(yù)處理，并基于邊緣設(shè)備的硬件特性對預(yù)處理后的所述待運(yùn)行大模型進(jìn)行優(yōu)化，以得到優(yōu)化后模型； 基于任務(wù)類型權(quán)重、任務(wù)優(yōu)先處理需求權(quán)重、緊急程度權(quán)重以及資源依賴程度權(quán)重計算所述優(yōu)化后模型對應(yīng)的待執(zhí)行任務(wù)的任務(wù)優(yōu)先級； 根據(jù)所述任務(wù)優(yōu)先級將所述待執(zhí)行任務(wù)分配至預(yù)先搭建的模型協(xié)同運(yùn)行框架中，并在分配的過程中，對所述待執(zhí)行任務(wù)進(jìn)行分析，以根據(jù)得到的分析結(jié)果將所述待執(zhí)行任務(wù)部署至所述模型協(xié)同運(yùn)行框架的負(fù)載均衡節(jié)點上；所述模型協(xié)同運(yùn)行框架為由所述邊緣設(shè)備、邊緣服務(wù)器以及云端構(gòu)建的框架； 利用預(yù)設(shè)數(shù)據(jù)緩存管理算法對運(yùn)行所述優(yōu)化后模型所需要的相關(guān)參數(shù)數(shù)據(jù)進(jìn)行管理，以將所述相關(guān)參數(shù)數(shù)據(jù)中待使用數(shù)據(jù)預(yù)加載至所述邊緣設(shè)備中，以便所述優(yōu)化后模型通過所述模型協(xié)同運(yùn)行框架的所述負(fù)載均衡節(jié)點，基于所述待使用數(shù)據(jù)執(zhí)行相應(yīng)的所述待執(zhí)行任務(wù)；所述待使用數(shù)據(jù)為通過所述預(yù)設(shè)數(shù)據(jù)緩存管理算法預(yù)測到的在運(yùn)行所述優(yōu)化后模型的過程中，下一步需要使用的數(shù)據(jù)； 其中，所述利用預(yù)設(shè)數(shù)據(jù)緩存管理算法對運(yùn)行所述優(yōu)化后模型所需要的相關(guān)參數(shù)數(shù)據(jù)進(jìn)行管理，以將所述相關(guān)參數(shù)數(shù)據(jù)中待使用數(shù)據(jù)預(yù)加載至所述邊緣設(shè)備中，包括： 利用指數(shù)加權(quán)移動平均法計算運(yùn)行所述優(yōu)化后模型所需要的相關(guān)參數(shù)數(shù)據(jù)的數(shù)據(jù)訪問頻率，并確定所述相關(guān)參數(shù)數(shù)據(jù)的重要程度； 根據(jù)所述重要程度以及所述數(shù)據(jù)訪問頻率將所述相關(guān)參數(shù)數(shù)據(jù)緩存至目標(biāo)緩存位置中；所述目標(biāo)緩存位置包括內(nèi)存緩存位置、閃存緩存位置以及云端緩存位置； 對所述目標(biāo)緩存位置中的緩存數(shù)據(jù)進(jìn)行特征提取和分析，以通過預(yù)設(shè)自回歸移動平均模型預(yù)測所述緩存數(shù)據(jù)下一步的預(yù)測訪問頻率； 根據(jù)所述緩存數(shù)據(jù)存儲在所述目標(biāo)緩存位置的相關(guān)信息確定相應(yīng)的緩存位置得分； 基于所述緩存位置得分、所述預(yù)測訪問頻率以及所述緩存數(shù)據(jù)的重要程度計算所述緩存數(shù)據(jù)的緩存價值，以根據(jù)所述緩存價值對所述緩存數(shù)據(jù)的緩存位置進(jìn)行調(diào)整，同時利用預(yù)設(shè)用戶行為模型輸出的用戶行為預(yù)測數(shù)據(jù)以及當(dāng)前所述模型協(xié)同運(yùn)行框架的狀態(tài)確定所述緩存數(shù)據(jù)中的待使用數(shù)據(jù)，以將所述待使用數(shù)據(jù)預(yù)加載至所述邊緣設(shè)備的所述內(nèi)存緩存位置中。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人浪潮云洲工業(yè)互聯(lián)網(wǎng)有限公司，其通訊地址為：250101 山東省濟(jì)南市高新區(qū)浪潮路1036號浪潮科技園S02號樓19層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。