中國科學院蘇州生物醫學工程技術研究所郭凱獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉中國科學院蘇州生物醫學工程技術研究所申請的專利一種基于人類嘴部運動的語言識別方法以及裝置獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119964572B 。
龍圖騰網通過國家知識產權局官網在2025-09-26發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411971622.9,技術領域涉及:G10L15/25;該發明授權一種基于人類嘴部運動的語言識別方法以及裝置是由郭凱;吳煜雯;馬哈茂德·艾爾薩曼緹;羅先佰;許方鳴;李廣澤;王杰;張宇澤設計研發完成,并于2024-12-30向國家知識產權局提交的專利申請。
本一種基于人類嘴部運動的語言識別方法以及裝置在說明書摘要公布了:本發明公開了一種基于人類嘴部運動的語言識別方法以及裝置,屬于語言識別領域,通過采集用戶嘴部運動過程中的面部和頸部的肌肉活動的電信號以及嘴部運動過程中面部圖像;對肌電信號以及面部圖像進行特征提取,將肌電信號特征與面部運動特征進行多模態融合,構建聯合特征向量,捕捉靜默語音的肌肉活動與口部動作之間的內在關聯;基于Transformer網絡構建多模態靜默語音識別模型,識別對應的語音內容;基于NLP的模糊語言處理,生成完整的句子輸出,通過上述步驟,本發明基于人類嘴部運動的語言識別方法能夠識別靜默方式表達的語音,避免環境干擾,有利于發音障礙人群使用,有利于通信的保密性。
本發明授權一種基于人類嘴部運動的語言識別方法以及裝置在權利要求書中公布了:1.一種基于人類嘴部運動的語言識別方法,其特征在于,包括以下步驟: 數據采集:采集用戶嘴部運動過程中的面部和頸部的肌肉活動的電信號以及嘴部運動過程中面部圖像; 圖像特征提取:采用面部關鍵點檢測算法對面部圖像進行精準定位嘴部和下頜區域并提取感興趣區域,使用卷積神經網絡提取單幀圖像的嘴部幾何特征,使用時序模型捕捉嘴部在時間維度上的運動特征,結合光流法分析連續幀間的運動軌跡,獲取相關特征,利用時間序列分析動態變化特征; 特征融合:將肌電信號特征與面部運動特征進行多模態融合,構建聯合特征向量,捕捉靜默語音的肌肉活動與口部動作之間的內在關聯; 基于Transformer網絡構建多模態靜默語音識別模型:構建基于Transformer網絡的多模態靜默語音識別模型,對來自多源輸入的聯合特征向量進行深度分析和分類,識別對應的語音內容; 基于NLP的模糊語言處理:對識別的語音內容進行文本錯誤檢測與候選生成,針對檢測到的錯誤候選詞,設計基于模糊匹配的糾正算法,生成多個可能的候選修正方案,在候選糾正過程中,采用依存句法分析以及語義嵌入對比方法生成完整的句子輸出。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國科學院蘇州生物醫學工程技術研究所,其通訊地址為:215163 江蘇省蘇州市高新區科技城科靈路88號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。