廈門大學洪青陽獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉廈門大學申請的專利低資源語音識別中的一種損失權重自適應元學習方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116052649B 。
龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310031464.8,技術領域涉及:G10L15/06;該發明授權低資源語音識別中的一種損失權重自適應元學習方法是由洪青陽;王秋林;李琳設計研發完成,并于2023-01-10向國家知識產權局提交的專利申請。
本低資源語音識別中的一種損失權重自適應元學習方法在說明書摘要公布了:低資源語音識別中的一種損失權重自適應元學習方法,涉及語音識別領域。針對現有技術存在的MAML算法不穩定、訓練損失權重難以精確調整等問題,提供低資源語音識別中的一種損失權重自適應元學習方法。通過同方差不確定性微調權重的方法在一定程度上解決MAML算法不穩定等問題,將其運用到語音識別中,在其基礎上引入VGG?CNN網絡以及Adapter模塊,提升整體識別性能。相較于其他元學習方法具有更小的波動,更加穩定,無需手動調整損失權重或者花費大代價地精確調整權重,能夠自動且高效地調整訓練損失權重到適當的數值??墒褂迷谌魏文P蜕?,靈活程度高,且添加的VGG?CNN模塊以及Adapter模塊增加計算成本低。
本發明授權低資源語音識別中的一種損失權重自適應元學習方法在權利要求書中公布了:1.低資源語音識別中的一種損失權重自適應元學習方法,其特征在于包括以下步驟: 1將訓練用到的多個語種按照其語種進行分類,劃分訓練集和驗證集; 2將每個語種類別的訓練集和驗證集的語音數據分成支撐集和查詢集兩個部分; 3將所有語音數據的文本進行統計,制作訓練用字典; 4編寫代碼構建由Transformer模型以及VGG-CNN網絡和Adapter模塊組成的語音識別模型; 5進行模型預訓練階段; 5.1在每個訓練迭代中,對于每個語種的訓練集語音數據,首先從訓練集的支撐集中抽取k個數據,經由VGG-CNN網絡提取特征后,將特征送入Transformer模型進行訓練,更新當前迭代輪次的模型參數; 5.2再從對應語種的查詢集中抽取k個數據,經由VGG-CNN網絡提取特征后,將特征送入Transformer模型測試模型的識別性能獲得對應的查詢集損失,同時將特征送入Adapter模塊,經過取均值和對數的操作后,獲得調整損失權重所需要的方差; 5.3利用獲取的方差通過公式調整對應語種在當前輪次的查詢集損失; 5.4完成上述對于單個語種的訓練操作后,將模型的參數初始化為當前訓練輪次開始時的數值; 6再對其他語種的訓練集和驗證集重復步驟5.1至5.4,進而獲取訓練用所有語種在當前迭代輪次中的調整后查詢集損失,并將其進行求和取均值; 7利用步驟6中操作后的查詢集損失均值對模型當前迭代輪次開始時的模型所有參數進行梯度下降更新; 8更新完模型參數后,模型當前的參數將作為下一個迭代輪次的模型初始化參數,并重復步驟5至7; 9每訓練一定Epoch后,利用驗證集的語音數據,對當前訓練后的模型進行測試,保存測試后最優性能時的模型參數,當某次保存的模型參數為多次測試后的相同最優值,則結束上述的訓練過程; 10準備需要進行識別的語種的訓練集、驗證集和測試集; 11利用需識別語種的訓練集對步驟9中保存的模型進行訓練; 11.1訓練中,每個迭代輪次,從訓練集中抽取一個Batch數的語音數據,經由VGG-CNN網絡提取特征后,將特征送入Transformer模型測試模型的識別性能獲得對應的損失,同時將特征送入Adapter模塊,經過取均值和對數的操作后,獲得調整損失權重所需要的方差; 11.2利用獲取的方差通過公式調整所需識別語種在當前輪次的訓練損失; 11.3利用步驟11.2中獲得的調整后損失更新模型參數; 12每訓練一個Epoch后,利用目標語種驗證集的語音數據,對當前訓練后的模型進行測試,保存性能最優模型; 13反復訓練多個Epoch后結束上述針對目標語種的訓練過程,即獲得具有優良識別性能的語音識別模型。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人廈門大學,其通訊地址為:361005 福建省廈門市思明區思明南路422號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。