買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉華中師范大學(xué)申請(qǐng)的專利基于文本主驅(qū)動(dòng)的多模態(tài)課堂教師言語行為分析方法、系統(tǒng)及設(shè)備獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN117009580B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310810239.4，技術(shù)領(lǐng)域涉及：G06F16/783；該發(fā)明授權(quán)基于文本主驅(qū)動(dòng)的多模態(tài)課堂教師言語行為分析方法、系統(tǒng)及設(shè)備是由張思;惠檸;禹化佩;曹蘭英;陳潔盈設(shè)計(jì)研發(fā)完成，并于2023-07-03向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于文本主驅(qū)動(dòng)的多模態(tài)課堂教師言語行為分析方法、系統(tǒng)及設(shè)備在說明書摘要公布了：本發(fā)明公開了一種基于文本主驅(qū)動(dòng)的多模態(tài)課堂教師言語行為分析方法、系統(tǒng)及設(shè)備，構(gòu)建了一個(gè)可以實(shí)現(xiàn)課堂教師言語行為分類的多模態(tài)學(xué)習(xí)模型，提升了模型的分類效果。本發(fā)明采用文本主驅(qū)動(dòng)的方式融合不同模態(tài)，使用跨模態(tài)注意力機(jī)制，關(guān)注不同模態(tài)的貢獻(xiàn)；根據(jù)不同模態(tài)的數(shù)據(jù)特點(diǎn)提取特征并選擇合適的表征方式，豐富了模態(tài)的特征表示；改進(jìn)損失函數(shù)優(yōu)化模型參數(shù)，提升了不平衡數(shù)據(jù)的分類準(zhǔn)確率。

本發(fā)明授權(quán)基于文本主驅(qū)動(dòng)的多模態(tài)課堂教師言語行為分析方法、系統(tǒng)及設(shè)備在權(quán)利要求書中公布了：1.一種基于文本主驅(qū)動(dòng)的多模態(tài)課堂教師言語行為分析方法，其特征在于，包括以下步驟： 步驟1，獲取課堂視頻，提取視頻中的音頻； 步驟2，音頻轉(zhuǎn)錄文本，記錄語音停頓時(shí)間和說話人； 步驟3，將音頻按照步驟2中記錄的語音停頓切分成音頻段； 步驟4，音頻數(shù)據(jù)處理，篩選保留教師音頻段和文本； 步驟5，提取步驟4中音頻段的音頻特征和文本特征； 步驟5中，首先，提取音頻段的梅爾頻率倒譜系數(shù)MFCC特征XMFCC和聲學(xué)低級(jí)描述符LLD特征XLLD；其次，文本輸入中文預(yù)訓(xùn)練模型Bert獲得詞向量特征XT； 步驟6，將步驟5得到的音頻特征和文本特征輸入構(gòu)建的基于文本主驅(qū)動(dòng)的多模態(tài)課堂教師言語行為分類模型中，并且構(gòu)建損失函數(shù)優(yōu)化分類結(jié)果； 步驟6的具體實(shí)現(xiàn)過程如下： 首先，將音頻特征MFCC輸入Conformer的卷積模塊中得到卷積后的音頻特征MFCC，記為XM，將音頻特征LLD輸入BiLSTM模塊中得到處理后的音頻特征LLD，記為XL，然后將卷積后得到的音頻特征MFCC和處理后的音頻特征LLD分別輸入一維卷積得到最終的音頻特征MFCC和LLD，記為音頻特征向量Xm和Xl； 然后將Bert詞向量特征輸入一維卷積得到最終的文本特征，記為文本特征向量Xt； 最后將最終的音頻特征MFCC和LLD分別與文本特征作以文本為中心的注意力融合處理，將注意力機(jī)制融合后的特征進(jìn)行疊加處理，經(jīng)激活函數(shù)輸入最大池化層和全連接層，預(yù)測課堂中教師言語行為的類別，最終的損失函數(shù)包含三部分，交叉熵?fù)p失函數(shù)，單模態(tài)對(duì)的損失函數(shù)，單模態(tài)與融合模態(tài)之間的損失函數(shù)。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人華中師范大學(xué)，其通訊地址為：430079 湖北省武漢市洪山區(qū)珞瑜路152號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。