買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉湖南工商大學(xué)申請(qǐng)的專利基于自注意力的無服務(wù)器應(yīng)用場(chǎng)景的推理模型分區(qū)方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120181246B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510667886.3，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)基于自注意力的無服務(wù)器應(yīng)用場(chǎng)景的推理模型分區(qū)方法是由何典;朱方越;李闖;劉剛;梁英設(shè)計(jì)研發(fā)完成，并于2025-05-23向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于自注意力的無服務(wù)器應(yīng)用場(chǎng)景的推理模型分區(qū)方法在說明書摘要公布了：本發(fā)明公開了一種基于自注意力的無服務(wù)器應(yīng)用場(chǎng)景的推理模型分區(qū)方法，該方法包括：步驟1：提取復(fù)合推理模型CIM的各子推理單元ISU中算子的性能數(shù)據(jù)，并對(duì)算子性能數(shù)據(jù)進(jìn)行合并以及預(yù)處理；步驟2：構(gòu)建基于XGBoost的資源預(yù)測(cè)模型；步驟3：對(duì)基于XGBoost的資源預(yù)測(cè)模型輸出的數(shù)據(jù)進(jìn)行層級(jí)合并與匯總，獲得子推理單元的性能數(shù)據(jù)；步驟4：基于自注意力機(jī)制，對(duì)子推理單元的性能數(shù)據(jù)進(jìn)行分析獲得復(fù)合推理模型的層間依賴關(guān)系，生成分區(qū)策略；步驟5：依據(jù)分區(qū)策略，對(duì)復(fù)合推理模型進(jìn)行分區(qū)，將每個(gè)分區(qū)對(duì)應(yīng)的子模塊封裝為無服務(wù)器函數(shù)，完成獨(dú)立部署分區(qū)。

本發(fā)明授權(quán)基于自注意力的無服務(wù)器應(yīng)用場(chǎng)景的推理模型分區(qū)方法在權(quán)利要求書中公布了：1.一種基于自注意力的無服務(wù)器應(yīng)用場(chǎng)景的推理模型分區(qū)方法，其特征在于，包括： 步驟1：提取復(fù)合推理模型CIM的各子推理單元ISU中算子的性能數(shù)據(jù)，并對(duì)算子的性能數(shù)據(jù)進(jìn)行合并以及預(yù)處理； 步驟2：構(gòu)建基于XGBoost的資源預(yù)測(cè)模型； 基于XGBoost的資源預(yù)測(cè)模型的輸入數(shù)據(jù)由算子級(jí)特征數(shù)據(jù)集OLFD和子推理單元ISU層級(jí)特征數(shù)據(jù)集ILFD組成，其中OLFD為采用步驟1獲得的預(yù)處理后的數(shù)據(jù)，ILFD為從OLFD提取并計(jì)算得到的子推理單元的子單元內(nèi)部層LI-ISU的層級(jí)特征數(shù)據(jù)；輸出數(shù)據(jù)為算子級(jí)預(yù)測(cè)數(shù)據(jù)集，包括各算子的資源占用時(shí)間和執(zhí)行時(shí)間預(yù)測(cè)值； 步驟3：對(duì)基于XGBoost的資源預(yù)測(cè)模型輸出的數(shù)據(jù)進(jìn)行層級(jí)合并與匯總，獲得子推理單元的性能數(shù)據(jù)； 步驟4：基于自注意力機(jī)制，對(duì)子推理單元的性能數(shù)據(jù)進(jìn)行分析獲得復(fù)合推理模型的層間依賴關(guān)系，生成分區(qū)策略； 步驟5：依據(jù)分區(qū)策略，對(duì)復(fù)合推理模型進(jìn)行分區(qū)，將每個(gè)分區(qū)對(duì)應(yīng)的子模塊封裝為無服務(wù)器函數(shù)，完成獨(dú)立部署分區(qū)； 所述基于自注意力機(jī)制，對(duì)子推理單元的性能數(shù)據(jù)進(jìn)行分析獲得復(fù)合推理模型的層間依賴關(guān)系，生成分區(qū)策略的具體過程如下： S1：構(gòu)建復(fù)合推理層CIL層間依賴特征向量； 基于獲得的復(fù)合推理層CIL層級(jí)數(shù)據(jù)為每一層復(fù)合推理層CIL構(gòu)建層間依賴特征向量，包含復(fù)合推理層CIL本身的資源預(yù)測(cè)數(shù)據(jù)、復(fù)合推理層CIL的結(jié)構(gòu)特性以及復(fù)合推理層CIL層間連接關(guān)系； 復(fù)合推理層CIL的結(jié)構(gòu)特性包括CIL層類型、CIL層的輸入與輸出數(shù)據(jù)大小、CIL層參數(shù)量；復(fù)合推理層CIL層間連接關(guān)系使用PyTorch或TensorFlow提供的工具提取計(jì)算圖并生成依賴矩陣確定； S2：計(jì)算復(fù)合推理層CIL層間注意力權(quán)重； 將復(fù)合推理層CIL層間依賴特征向量輸入至自注意力機(jī)制模型中，計(jì)算復(fù)合推理層CIL的層與層之間的注意力權(quán)重，具體包括以下過程： a）Query、Key和Value的生成； 復(fù)合推理層CIL層間依賴特征向量輸入自注意力機(jī)制模型中通過線性變換生成各復(fù)合推理層CIL層之間的查詢向量Query、鍵向量Key和值向量Value； b）某一復(fù)合推理層CIL與其他復(fù)合推理層CIL之間的注意力權(quán)重計(jì)算； ； 其中，是特征維度，代表查詢和鍵之間的相似性，V表示某一復(fù)合推理層CIL與其他復(fù)合推理層CIL之間值向量； c）生成注意力矩陣：每一復(fù)合推理層CIL與其他復(fù)合推理層CIL的注意力權(quán)重構(gòu)成一個(gè)矩陣，表示層間依賴關(guān)系的強(qiáng)弱； S3：識(shí)別關(guān)鍵層與依賴路徑； 根據(jù)注意力矩陣中各復(fù)合推理層CIL與其他復(fù)合推理層CIL之間的注意力權(quán)重，獲得CIM內(nèi)部的復(fù)合推理層CIL層間依賴關(guān)系，確定緊密依賴的復(fù)合推理層CIL的層組和關(guān)鍵路徑，并將緊密依賴的復(fù)合推理層CIL以及關(guān)鍵路徑上的復(fù)合推理層CIL劃分到同一分區(qū)。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人湖南工商大學(xué)，其通訊地址為：410205 湖南省長沙市岳麓區(qū)岳麓大道569號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。