買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉杭州卷積云科技有限公司申請的專利一種實時邊云協(xié)同卷積神經(jīng)網(wǎng)絡推理方法及系統(tǒng)獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN114970823B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-08-29發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202210611109.3，技術領域涉及：G06N3/0464；該發(fā)明授權一種實時邊云協(xié)同卷積神經(jīng)網(wǎng)絡推理方法及系統(tǒng)是由楊樹森;趙聰;趙鵬;張展華;任雪斌;余翰喬;韓青;郭思言設計研發(fā)完成，并于2022-05-31向國家知識產(chǎn)權局提交的專利申請。

本一種實時邊云協(xié)同卷積神經(jīng)網(wǎng)絡推理方法及系統(tǒng)在說明書摘要公布了：一種實時邊云協(xié)同卷積神經(jīng)網(wǎng)絡推理方法及系統(tǒng)，包括以下步驟：將壓縮后的CNN模型轉化為邊云協(xié)同推理模型SW?CNN；得到SW?CNN各層在各壓縮率下的通信計算延時；根據(jù)實時網(wǎng)絡性能調(diào)整壓縮率c；建模實時邊云協(xié)同推理控制問題并求解，為SW?CNN選擇壓縮率；調(diào)整SW?CNN的壓縮率至cn，分析任務pn。本發(fā)明將CNN模型劃分為邊緣和云端兩部分，通過邊緣少量模型計算壓縮原始數(shù)據(jù)，之后將邊緣輸出的CNN模型中間數(shù)據(jù)上傳給云，在云端完成大量模型計算得到最終推理結果，實現(xiàn)高精度、高響應性的實時CNN推理，根據(jù)實時任務負載和網(wǎng)絡環(huán)境，動態(tài)調(diào)整模型壓縮率，支撐波動的網(wǎng)絡環(huán)境中的實時流式智能分析。

本發(fā)明授權一種實時邊云協(xié)同卷積神經(jīng)網(wǎng)絡推理方法及系統(tǒng)在權利要求書中公布了：1.一種實時邊云協(xié)同卷積神經(jīng)網(wǎng)絡推理方法，其特征在于，包括以下步驟： 在邊緣設備上對CNN模型通過特征圖壓縮，將壓縮后的CNN模型轉化為邊云協(xié)同推理模型SW-CNN； 在給定的邊云系統(tǒng)中進行信息搜集得到SW-CNN各層在各壓縮率下的通信計算延時； 對實時邊云協(xié)同CNN推理控制問題進行建模，對按照時間序列i＝1,2...到來的流式推理任務，根據(jù)實時網(wǎng)絡性能調(diào)整壓縮率c； 初始化任務隊列，控制器根據(jù)當前的任務剩余時間信息及實時網(wǎng)絡情況，建模實時邊云協(xié)同推理控制問題并求解，為SW-CNN選擇壓縮率；調(diào)整SW-CNN的壓縮率至cn，處理任務pn； 任務pn完成后，若任務隊列不為空，則重復調(diào)整SW-CNN的壓縮率至cn，處理任務pn，直到處理完任務隊列中的所有任務； 在邊緣設備上對CNN模型通過特征圖壓縮具體包括： 給定CNN層之間的通信數(shù)據(jù)為特征圖，其數(shù)據(jù)量Ds＝Fs*Fn*Fb，其中Fs表示單張?zhí)卣鲌D的面積，F(xiàn)n表示特征圖的數(shù)量，F(xiàn)b表示量化后的數(shù)據(jù)bit位數(shù)，分別降低Fn和Fb，假設經(jīng)過壓縮操作后剩余的特征圖數(shù)量為Frn，剩余的數(shù)據(jù)量化位數(shù)為Frb，則Frn,Frb為當前的壓縮設置，該設置的通信壓縮率c＝1-Frn*FrbFn*Fb，剩余率r＝1-c，經(jīng)過壓縮之后，在原有數(shù)據(jù)集上通過端到端訓練進行模型微調(diào)以恢復精度，計算壓縮率-精度的帕累托集合，確定選取相同壓縮率下精度最高的方案； 將壓縮后的CNN模型轉化為邊云協(xié)同推理模型SW-CNN具體包括： SW-CNN轉化，對于給定的CNN模型，得到大具有不同壓縮率及精度的CNN模型，將給定CNN模型轉化為集成了不同壓縮率的CNN模型的SW-CNN模型，對于給定的CNN模型，其相應的SW-CNN模型具有相同的結構，對于給定的具有FN及FB的劃分層，根據(jù)不同壓縮設置生成不同的子模型，除給定劃分層外，不同的子模型共享所有參數(shù)，對于壓縮層，不同的子模型根據(jù)Frn,Frb相互嵌套并共享參數(shù)，使用Frn,Frb壓縮設置的子模型使用從序號1到Frn的特征圖及1到Frb的數(shù)據(jù)bit位數(shù)，故Frn,Frb大的子模型包含了特征圖數(shù)量及壓縮位數(shù)小的子模型，即小的子模型嵌套在大的子模型中； 調(diào)整壓縮率： 當上一任務pn-1完成時，控制器以當前任務數(shù)量pn、上一任務給當前任務留下的剩余時間ln-1以及當前的網(wǎng)絡帶寬bn為輸入，決定當前對于該批任務的壓縮率cn以最大化實時的性能指標RP，若任務pn-1在時刻完成，則下一批任務pn的完成時間其中rcn,pn表示該批任務的計算時間，表示通信時間，考慮用戶限定延時luser，任務pn的剩余時間為其中x_＝min{x,luser}以保證剩余時間不大于用戶給定時間，Δtn-1,n為前后兩批任務到來的時間間隔，若ln＜0任務pn一定延誤，對于任務p1到pn，平均精度為延誤率為其中*表示階躍函數(shù)，控制目標函數(shù)為其中γ為非負實數(shù)，表示用戶對于實時控制的偏向，γ越大，控制越傾向于降低延誤率，同時可以容忍更高的精度損失，實時推理控制問題建模為求解 s.t. l0＝luser c1,c2,…,cN∈CPareto 其中，CPareto表示僅選取帕累托集合中的壓縮率以保證相同壓縮率下提供最高的推理精度，l0表示第一個任務的剩余時間，若無積壓任務可以立即處理，l0等于luser；若有積壓任務，設當前積壓任務已到來t0時間，則l0＝luser-t0； 為SW-CNN選擇壓縮率 若任務隊列為空，掛起；否則，從隊列加載當前推理任務pn，采樣當前帶寬bn、上一任務的剩余時間和當前隊列長度N，基于模型預測控制算法，預測未來N個時間點的任務及帶寬其中，N等于積壓的任務批數(shù)，建模實時邊云協(xié)同推理控制問題，通過離散帶寬數(shù)據(jù)將規(guī)劃優(yōu)化問題轉化為組合優(yōu)化問題，使用模擬退火算法搜索最優(yōu)方案，其中，當積壓任務變多時，選取更高的壓縮率以保證實時性，設完整的壓縮率集合為CPareto，當隊列中積壓了N批任務時，通過在CPareto中按從小到大的順序刪除前N個較小的壓縮率得到當前可行的壓縮率集合C'Pareto，并使得可行集合的容量cardC'Pareto等于cardCPareto-N+，當N＝1時，搜索空間等于cardCPareto，隨著N的增大可行集合的容量cardC'Pareto逐漸增大。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人杭州卷積云科技有限公司，其通訊地址為：310000 浙江省杭州市余杭區(qū)倉前街道良睦路1288號6幢302-1室；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。