買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉電子科技大學(xué)申請(qǐng)的專利融合拼音和字符信息的端到端非自回歸中文語音識(shí)別方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116597815B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310465365.0，技術(shù)領(lǐng)域涉及：G10L15/02；該發(fā)明授權(quán)融合拼音和字符信息的端到端非自回歸中文語音識(shí)別方法是由嚴(yán)璽;劉嶠;謝煬;張志鵬;佟飄;代婷婷;甘洋鐳;侯睿設(shè)計(jì)研發(fā)完成，并于2023-04-26向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本融合拼音和字符信息的端到端非自回歸中文語音識(shí)別方法在說明書摘要公布了：本發(fā)明公開了一種融合拼音和字符信息的端到端非自回歸中文語音識(shí)別方法，該方法同時(shí)學(xué)習(xí)拼音和字符信息，并將其應(yīng)用于三個(gè)組件中，首先是基于wav2vec2的編碼器模塊，該模塊將原始音頻信號(hào)編碼為語音特征向量；其次是一個(gè)基于注意力機(jī)制的幀?字對(duì)齊模塊，該模塊將音頻向量和預(yù)期輸出文字對(duì)齊；最后是基于拼音音素預(yù)訓(xùn)練的BERT解碼器模塊，該模塊將上一步得到的拼音和字符級(jí)特征向量融合輸入BERT解碼器中解碼，輸出文字。與現(xiàn)有技術(shù)相比，本發(fā)明從中文特點(diǎn)入手，引入拼音級(jí)別的特征向量，并使用基于大規(guī)模拼音音素預(yù)訓(xùn)練的BERT解碼器，加強(qiáng)語音表征，有效提升了中文語音識(shí)別的準(zhǔn)確率。

本發(fā)明授權(quán)融合拼音和字符信息的端到端非自回歸中文語音識(shí)別方法在權(quán)利要求書中公布了：1.一種融合拼音和字符信息的端到端非自回歸中文語音識(shí)別方法，其特征在于，該方法基于端到端非自回歸的中文語音識(shí)別模型實(shí)現(xiàn)，該模型包括一個(gè)基于自監(jiān)督的wav2vec2語音編碼器、一個(gè)幀-字長(zhǎng)度對(duì)齊模塊、一個(gè)基于拼音音素預(yù)訓(xùn)練的BERT非自回歸解碼器，所述中文語音識(shí)別方法包括以下步驟： 步驟1：將原始語音信號(hào)作為輸入，將其通過基于自監(jiān)督的wav2vec2語音編碼器得到編碼后的音頻向量Ha＝{h1,h2,h3,…,hT}，其中hi表示第i個(gè)語音幀的特征向量表達(dá)，i＝1,2,…,T，T代表語音幀的個(gè)數(shù)，每個(gè)音頻向量的隱藏層維數(shù)為d； 步驟2：首先，使用CTC貪婪搜索算法預(yù)測(cè)目標(biāo)文字的長(zhǎng)度，對(duì)預(yù)測(cè)的長(zhǎng)為L(zhǎng)的目標(biāo)文字進(jìn)行位置編碼，得到Hp＝PositionalEncoding{x1,x2,x3,…,xL}，其中PositionalEncoding.表示位置編碼計(jì)算，Hp表示文字位置編碼向量，xj代表第j個(gè)文字的位置編碼，j＝1,2,…,L，L表示文字的長(zhǎng)度；然后，將得到的文字位置編碼向量Hp和步驟1中編碼得到的音頻向量Ha通過幀-字長(zhǎng)度對(duì)齊模塊進(jìn)行語音幀和字符的對(duì)齊操作，得到字級(jí)別的音頻向量H＝{h′1,h′2,h′3,…,h′L}，其中，h′j代表和輸出文字對(duì)齊后的第j個(gè)音頻特征表達(dá)； 步驟3：將上述得到的字級(jí)別音頻向量H分別通過兩個(gè)不同的全連接層處理：通過全連接層1，得到字符級(jí)別的特征嵌入向量Hchar；通過全連接層2，得到拼音級(jí)別的特征嵌入向量Hpinyin； 步驟4：將步驟3分別得到的Hchar和Hpinyin通過拼音-字符融合層即concat操作進(jìn)行特征融合，得到同時(shí)融合字符和拼音信息的特征嵌入向量Hfusion； 步驟5：將Hfusion輸入基于拼音音素預(yù)訓(xùn)練的BERT非自回歸解碼器中解碼，利用BERT雙向并行解碼機(jī)制和已基于大量拼音和文字?jǐn)?shù)據(jù)預(yù)訓(xùn)練好的模型參數(shù)，對(duì)融合了字符和拼音信息的特征嵌入向量Hfusion解碼，輸出預(yù)測(cè)文字，完成語音識(shí)別任務(wù)。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人電子科技大學(xué)，其通訊地址為：611731 四川省成都市高新區(qū)（西區(qū)）西源大道2006號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。