北京理工大學李凡獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉北京理工大學申請的專利一種利用智能手機的非接觸式手語識別方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116978114B 。
龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310717233.2,技術領域涉及:G06V40/20;該發明授權一種利用智能手機的非接觸式手語識別方法是由李凡;王鈺森;趙志遠設計研發完成,并于2023-06-16向國家知識產權局提交的專利申請。
本一種利用智能手機的非接觸式手語識別方法在說明書摘要公布了:本發明涉及一種利用智能手機的非接觸式手語識別方法,屬于移動計算應用技術領域。本發明利用手機內置揚聲器發出人耳聽不見的高頻聲音信號,該信號經過聽障人士的手語動作反射,再由手機內置的麥克風接收。將接收信號經過處理,提取出整個過程的信道沖擊響應。當用戶表達不同手語動作時,整個信道的信道狀態信息也并不相同,通過深度學習方法來識別這些信息對應的手語動作。本發明采用了細粒度的信道沖擊響應特征識別出手指級別的手語動作,設計了一系列信號處理算法去除環境中的靜態以及動態干擾。通過訓練端到端神經網絡模型時在兩個單詞間添加額外的標簽,避免了手動對手語句子訓練數據進行分割。本發明易于部署,用戶體驗好,不易受環境干擾。
本發明授權一種利用智能手機的非接觸式手語識別方法在權利要求書中公布了:1.一種利用智能手機的非接觸式手語識別方法,其特征在于,利用智能手機內置麥克風與揚聲器進行非接觸式的手語識別,包括以下步驟: 步驟1:對單載波通信通道估計信道沖擊相應; 利用智能手機內置揚聲器發射人耳聽不到的音頻信號,該信號經過手語使用者的手部動作反射,被智能手機內置麥克風接收;在麥克風與揚聲器位置固定時,整個傳輸信道被視為線性時不變系統,提取不同手語動作的信道沖擊響應,進行信道估計; 系統采用最小二乘法進行信道估計,獲取每一個手語動作過程中信道沖擊響應的幅值大小; 步驟2:對提取到的信道沖擊響應進行增強; 首先去除環境中由靜態物體引起的干擾,然后去除手語動作以外動態部分的干擾,最后采用圖像處理方法進行數據增強; 步驟3:訓練深度神經網絡,對單詞級別和句子級別的手語進行識別; 步驟3.1:使用基于注意力機制的卷積神經網絡,進行單詞級別的手語識別; 采用卷積神經網絡對每個單詞進行分類;通過引入注意力機制,在神經網絡的訓練過程中給予重要特征更大的權重; 其中,分類網絡包括卷積層、引入注意力機制的CBAM層、壓平Flatten層、全連接層和Softmax層;卷積層提取出單詞對應的圖片的特征映射,經過注意力機制層,得到優化后的特征向量,壓平層將多維的特征向量轉化為一維向量,再經過全連接層繼續進行特征提取;Softmax層輸出類概率向量,將單詞種類分配給具有最大概率的類; 步驟3.2:使用CNN+GRU+CTC的深度神經網絡模型,進行句子級別的手語識別; 采用一種端到端的神經網絡模型,經常被用在光學字符識別中;該神經網絡結構模型包括卷積神經網絡CNN、門控循環單元GRU和連接時序分類CTC; 令一個句子級別的手語動作對應的信道沖擊響應序列為X,X=[x1,x2,…,xm],xm表示第m個信道沖擊響應,對應的單詞為Y=[y1,y2,…,yM],yM表示第M個單詞; 該端到端的神經網絡模型首先使用步驟3.1中的卷積神經網絡作為開端,然后使用門控循環單元進一步提取圖像中的時序特征,最后利用連續時序分類來避免X與Y手動對齊,在給定序列X的情況下,連續時序分類輸出所有可能的句子結果;最終,網絡通過最大后驗概率估計,以計算最有可能的結果。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人北京理工大學,其通訊地址為:100081 北京市海淀區中關村南大街5號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。