北京郵電大學王思野獲國家專利權
買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！
龍圖騰網獲悉北京郵電大學申請的專利基于知識蒸餾恢復策略剪枝的長短期記憶壓縮方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116861257B 。
龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202311033595.6，技術領域涉及：G06F18/214；該發明授權基于知識蒸餾恢復策略剪枝的長短期記憶壓縮方法是由王思野;李元東;趙中原;梁步順;徐文波;賴錦林;麥吉設計研發完成，并于2023-08-16向國家知識產權局提交的專利申請。
本基于知識蒸餾恢復策略剪枝的長短期記憶壓縮方法在說明書摘要公布了：本發明公開了一種基于知識蒸餾恢復策略剪枝的長短期記憶壓縮方法，在知識蒸餾的實現中，除了引入蒸餾損失用于學生模型擬合教師模型的logits輸出，還使用輸出概率分布與真實標簽的交叉熵損失，以確保學生模型的輸出與樣本的真實標簽相互匹配。這兩部分損失共同構成目標函數，幫助學生模型從教師模型的“暗知識”中進行學習，優化模型的輸出概率分布，從而提高剪枝模型的準確率。另外，本發明將知識蒸餾應用于LSTM模型的剪枝過程中，通過合理傳遞知識，使得剪枝后的模型具備更強的表征能力。
本發明授權基于知識蒸餾恢復策略剪枝的長短期記憶壓縮方法在權利要求書中公布了：1.一種基于知識蒸餾恢復策略剪枝的長短期記憶壓縮方法，其特征在于，包括： 步驟S1、根據得到的數據集訓練長短期記憶模型，獲得具有預設的泛化能力的原始模型，保存所述原始模型；對于單句文本分類任務，選擇GLUE的SST-2數據集；對于句子對匹配任務，選擇GLUE的QQP數據集； 步驟S2、設置剪枝參數，所述剪枝參數包括權重剪枝方法、稀疏度的初始值、稀疏度的期望值； 步驟S3、根據所述權重剪枝方法評估連接或權重塊的重要性，排序后根據所述稀疏度確定修剪比例，根據所述修剪比例將對應的參數置零，同時禁止已經置零的參數進行更新，得到剪枝模型； 步驟S4、使用知識蒸餾方法對所述剪枝模型進行訓練，將所述原始模型作為教師，將所述剪枝模型作為學生，通過在損失函數中加入蒸餾損失，使得學生模型擬合教師模型的logits輸出，迭代訓練預設的次數之后，得到精度恢復的模型； 步驟S5、評估所述精度恢復的模型的精度，調整所述稀疏度，根據預設的精度損失范圍增減所述稀疏度，返回步驟S3繼續剪枝，直至達到所述稀疏度的期望值或滿足預設的終止條件。
如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京郵電大學，其通訊地址為：100876 北京市海淀區西土城路10號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
以上內容由AI智能生成
免責聲明
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
開放平臺
擔保交易
惠及多方
會員特惠
專屬平臺
適合多方
數據共享
功能齊全
皖公網安備 34010402703815號