中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司盧慧君獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司申請的專利一種語音分離方法、裝置及存儲介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN115938385B 。
龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202110945149.7,技術領域涉及:G10L21/028;該發明授權一種語音分離方法、裝置及存儲介質是由盧慧君;蔡敦波;錢嶺;黃智國設計研發完成,并于2021-08-17向國家知識產權局提交的專利申請。
本一種語音分離方法、裝置及存儲介質在說明書摘要公布了:本申請實施例公開了一種語音分離方法、裝置及存儲介質,該方法將時域的混合音頻數據和圖像數據輸入到第一神經網絡中進行特征融合,輸出K個第一特征圖;將頻域的語譜圖輸入到第二神經網絡中進行特征分離,輸出K個第二特征圖;基于K個第一特征圖和K個第二特征圖,得到K個語譜圖掩碼;最后基于K個語譜圖掩碼和語譜圖,得到分離后的K個獨立音頻數據。這樣,在進行語音分離時,引入第一神經網絡用于多感知特征提取以增強語音特征,得到K個第一特征圖,引入第二神經網絡對混合語音數據的語譜圖進行K成分分離,得到K個第二特征圖,利用第一特征圖和第二特征圖進行語譜圖掩碼預測能夠提高預測準確性,從而實現混合音頻數據的有效分離。
本發明授權一種語音分離方法、裝置及存儲介質在權利要求書中公布了:1.一種語音分離方法,其特征在于,所述方法包括: 獲取原始視頻數據; 將所述原始視頻數據輸入到語音分離模型進行語音分離處理,得到K個獨立音頻數據;其中,K取正整數,所述語音分離處理包括: 從所述原始視頻數據中提取混合音頻數據和圖像數據; 將所述混合音頻數據和所述圖像數據輸入到第一神經網絡中進行特征融合,輸出K個第一特征圖; 將所述混合音頻數據進行短時傅里葉變換得到語譜圖; 將所述語譜圖輸入到第二神經網絡中進行特征分離,輸出K個第二特征圖; 基于所述K個第一特征圖和所述K個第二特征圖,得到K個語譜圖掩碼; 基于所述K個語譜圖掩碼和所述語譜圖,得到分離后的K個獨立音頻數據; 其中,所述特征融合包括:基于預設的圖像尺寸對所述圖像數據中的圖像進行轉換和裁剪,得到多幀第一圖像;對所述多幀第一圖像進行三維卷積操作和池化操作,提取所述圖像數據對應的第三特征圖;對所述混合音頻數據進行卷積操作和池化操作,提取所述混合音頻數據對應的第四特征圖;將所述第三特征圖和所述第四特征圖輸入到拼接子網進行按通道拼接,得到第五特征圖;將所述第五特征圖輸入到三維殘差子網絡中,輸出所述K個第一特征圖; 所述基于所述K個第一特征圖和所述K個第二特征圖,得到K個語譜圖掩碼,包括:將所述K個第一特征圖和所述K個第二特征圖按通道進行乘積運算,得到K個語譜圖掩碼; 所述基于所述K個語譜圖掩碼和所述語譜圖,得到分離后的K個獨立音頻數據,包括:將所述K個語譜圖掩碼分別與所述語譜圖進行乘積運算,得到K個語譜圖;將所述K個語譜圖進行短時傅里葉逆變換,得到所述K個獨立音頻數據。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司,其通訊地址為:215163 江蘇省蘇州市高新區昆侖山路58號1幢中移軟件園;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。