買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉廈門大學申請的專利一種基于交叉蒸餾的端到端語音識別模型壓縮方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116072107B 。

龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310031418.8，技術領域涉及：G10L15/06；該發明授權一種基于交叉蒸餾的端到端語音識別模型壓縮方法是由洪青陽;胡文軒;李琳設計研發完成，并于2023-01-10向國家知識產權局提交的專利申請。

本一種基于交叉蒸餾的端到端語音識別模型壓縮方法在說明書摘要公布了：一種基于交叉蒸餾的端到端語音識別模型壓縮方法，涉及語音識別。提供一種基于交叉蒸餾的端到端語音識別模型壓縮方法，基于知識蒸餾方法，對教師模型學習不充分的問題，設計交叉蒸餾方法，提高學生模型的準確率。包括：1構建基于Conformer模型的教師模型和學生模型；2對教師模型進行預訓練；3教師模型通過交叉蒸餾方法指導學生模型進行訓練；4對學生模型進行推理。針對語音識別模型在設備上部署的難點，優化設計小模型的訓練方案；在保證模型大小壓縮的同時，使得學生模型的解碼器能直接獲得來自教師模型編碼器的特征學習，學生模型的編碼器提取的特征輸入到教師模型的解碼器中由教師模型糾正，提升小模型的準確率。

本發明授權一種基于交叉蒸餾的端到端語音識別模型壓縮方法在權利要求書中公布了：1.一種基于交叉蒸餾的端到端語音識別模型壓縮方法，其特征在于包括以下步驟： 1）構建基于Conformer模型的教師模型和學生模型； 2）對教師模型進行預訓練； 3）教師模型通過交叉蒸餾方法指導學生模型進行訓練，具體步驟包括： （1）在訓練過程中，教師模型和學生模型都進行前向傳播，除前向傳播方式外，教師模型和學生模型的編碼器輸出特征在輸入解碼器之前進行交叉，隨后再計算這兩種編碼器輸出的概率分布與真實分布的KL散度損失；所述前向傳播即教師模型的編碼器輸出特征是教師模型的解碼器的輸入，學生模型的編碼器輸出特征是學生模型的解碼器輸入，所述交叉即教師模型的編碼器輸出特征輸入學生模型的解碼器，學生模型的編碼器輸出特征輸入教師模型的編碼器； （2）設計一個自適應蒸餾權重函數，根據教師模型原始前向傳播方式獲得的解碼器輸出，計算出教師模型預測當前批次數據的準確率，以此調整教師模型參與指導的權重；當教師模型對當前批次數據的識別準確率高時，則KL散度損失占總損失中的比例高；當教師模型對當前批次數據的識別準確率低時，原始交叉熵損失占總損失的比例高； （3）計算學生模型的編碼器最后一層輸出特征和教師模型的編碼器最后一層輸出特征的均方誤差； （4）在反向傳播過程中，教師模型網絡參數無需更新，不參與反向傳播，學生模型優化以上的均方誤差、KL散度損失和本身的交叉熵損失，直到學生模型收斂； 4）對學生模型進行推理。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人廈門大學，其通訊地址為：361005 福建省廈門市思明區思明南路422號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。