買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉華中科技大學(xué)申請(qǐng)的專利一種融合情感信息的多模態(tài)短視頻標(biāo)簽推薦方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN115329127B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210867181.2，技術(shù)領(lǐng)域涉及：G06F16/735；該發(fā)明授權(quán)一種融合情感信息的多模態(tài)短視頻標(biāo)簽推薦方法是由李玉華;杜暢;李瑞軒;辜希武設(shè)計(jì)研發(fā)完成，并于2022-07-22向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種融合情感信息的多模態(tài)短視頻標(biāo)簽推薦方法在說(shuō)明書摘要公布了：本發(fā)明公開了一種融合情感信息的多模態(tài)短視頻標(biāo)簽推薦方法，屬于視頻處理技術(shù)領(lǐng)域，包括：構(gòu)建短視頻樣本集；將短視頻樣本輸入基于多頭注意力機(jī)制和自編碼器的初始多模態(tài)標(biāo)簽推薦模型，以使其對(duì)短視頻樣本的圖像、音頻、文本進(jìn)行特征提取得到內(nèi)容特征和情感特征，并利用注意力網(wǎng)絡(luò)進(jìn)行融合得到多個(gè)候選視頻標(biāo)簽；以期望視頻標(biāo)簽為目標(biāo)，以候選視頻標(biāo)簽與期望視頻標(biāo)簽的文字特征區(qū)別為損失，訓(xùn)練初始多模態(tài)標(biāo)簽推薦模型得到目標(biāo)多模態(tài)標(biāo)簽推薦模型；將當(dāng)前短視頻輸入目標(biāo)多模態(tài)標(biāo)簽推薦模型以使其生成目標(biāo)視頻標(biāo)簽。本發(fā)明通過(guò)融合圖像特征、音頻特征以及文本特征，能夠充分利用視頻相關(guān)的多模態(tài)信息，有效提高所生成的視頻標(biāo)簽的質(zhì)量。

本發(fā)明授權(quán)一種融合情感信息的多模態(tài)短視頻標(biāo)簽推薦方法在權(quán)利要求書中公布了：1.一種融合情感信息的多模態(tài)短視頻標(biāo)簽推薦方法，其特征在于，包括： S1：構(gòu)建短視頻樣本集，各短視頻樣本的標(biāo)簽包括對(duì)應(yīng)的多個(gè)平臺(tái)標(biāo)簽，且其屬性包括對(duì)應(yīng)的圖像特征、音頻特征以及文本特征； S2：將所述短視頻樣本輸入基于多頭注意力機(jī)制和自編碼器的初始多模態(tài)標(biāo)簽推薦模型，以使其對(duì)所述短視頻樣本的圖像、音頻、文本進(jìn)行特征提取，得到內(nèi)容特征和情感特征，并利用注意力網(wǎng)絡(luò)進(jìn)行融合得到多個(gè)候選視頻標(biāo)簽；以期望視頻標(biāo)簽為目標(biāo)，以所述候選視頻標(biāo)簽與所述期望視頻標(biāo)簽的文字特征區(qū)別為損失，訓(xùn)練所述初始多模態(tài)標(biāo)簽推薦模型得到目標(biāo)多模態(tài)標(biāo)簽推薦模型； S3：將當(dāng)前短視頻輸入所述目標(biāo)多模態(tài)標(biāo)簽推薦模型以使其生成目標(biāo)視頻標(biāo)簽； 所述初始多模態(tài)標(biāo)簽推薦模型包括：內(nèi)容特征提取模塊、情感特征提取模塊和標(biāo)簽預(yù)測(cè)模塊；所述內(nèi)容特征提取模塊基于模態(tài)Transfomer結(jié)構(gòu)；所述情感特征提取模塊基于跨模態(tài)的多頭注意力結(jié)構(gòu)；所述標(biāo)簽預(yù)測(cè)模塊基于注意力網(wǎng)絡(luò)； 所述內(nèi)容特征提取模塊包括依次連接的：編碼器層、堆疊塊層和融合層；所述編碼器層用于對(duì)不同模態(tài)信息進(jìn)行編碼，所述堆疊塊層用于進(jìn)行帶有注意力機(jī)制的模態(tài)表示；所述融合層用于對(duì)跨模態(tài)信息進(jìn)行融合得到最終的內(nèi)容特征表示；所述堆疊塊層中對(duì)每個(gè)模態(tài)都采用N個(gè)堆疊塊實(shí)現(xiàn)帶有注意力機(jī)制的特征表示，所述堆疊塊包括多頭注意力機(jī)制、跨注意力機(jī)制以及兩個(gè)前饋神經(jīng)網(wǎng)絡(luò)； 所述情感特征提取模塊通過(guò)多模態(tài)多頭注意力框架MMFA將圖像特征、音頻特征以及文本特征進(jìn)行模態(tài)間的特征融合，得到所述短視頻樣本對(duì)應(yīng)的情感表示向量；MMFA中包括多頭自注意力機(jī)制和多頭共注意力機(jī)制。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人華中科技大學(xué)，其通訊地址為：430074 湖北省武漢市洪山區(qū)珞喻路1037號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。