買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉合肥工業(yè)大學(xué)申請的專利一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN113947436B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-05發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111232184.0，技術(shù)領(lǐng)域涉及：G06Q30/0242；該發(fā)明授權(quán)一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法是由錢洋;許華華;姜元春;柴一棟;劉業(yè)政;徐旺;凌海峰;熊迎秋設(shè)計研發(fā)完成，并于2021-10-22向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法在說明書摘要公布了：本發(fā)明公開了一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法，其步驟包括：1.構(gòu)建多模態(tài)廣告數(shù)據(jù)集合并表示，2.提取多模態(tài)廣告的特征，3.引入基于文本的注意力機制，4.融合多模態(tài)廣告的文本與視覺特征，5.利用融合后的全局特征預(yù)測廣告的流行度得分。本發(fā)明在預(yù)測流行度得分時，能夠綜合利用多模態(tài)廣告中的文本與視覺信息，并有效降低噪聲信息的影響，以得到有效的數(shù)據(jù)特征表示，從而能提高多模態(tài)廣告的預(yù)測精確度。

本發(fā)明授權(quán)一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法在權(quán)利要求書中公布了：1.一種基于文本監(jiān)督注意力的多模態(tài)廣告流行度預(yù)測方法，其特征是按如下步驟進行： 步驟1、構(gòu)建多模態(tài)廣告數(shù)據(jù)集合D，用|D|表示多模態(tài)廣告數(shù)據(jù)集合D的數(shù)目，所述多模態(tài)廣告數(shù)據(jù)集合D中任意第i條廣告包含文本描述、圖像、標(biāo)簽、標(biāo)題、作者、時間的多模態(tài)信息，i∈[1,|D|]； 步驟1.1、構(gòu)建多模態(tài)廣告數(shù)據(jù)集合D的文本信息集合，所述文本信息集合中第i條廣告的文本信息，記為其中，wi,n表示第i條廣告的文本信息di中第n個詞匯，Ni表示文本信息di的總詞匯量，n∈[1,Ni]； 步驟1.2、構(gòu)建多模態(tài)廣告數(shù)據(jù)集合D的視覺信息集合，所述視覺信息集合中第i條廣告的視覺信息Ii，記為其中，pi,m表示第i條廣告的視覺信息Ii中第m個圖片，Mi表示視覺信息Ii的總圖片數(shù)，m∈[1,Mi]； 步驟1.3、構(gòu)建多模態(tài)廣告數(shù)據(jù)集合D的其他輔助信息集合，其中，第i條廣告的標(biāo)簽信息集合記為li，第i條廣告的標(biāo)題信息集合記為ti，第i條廣告的作者信息集合記為ai，第i條廣告的時間信息集合記為Ti； 步驟2、提取多模態(tài)廣告的特征； 步驟2.1、基于降噪主題模型獲取文本信息的特征表示； 步驟2.1.1、定義所有文本信息集合的主題分布為θ＝{θ1,θ2,…,θi,…,θ|D|}，其中，θi表示第i條廣告的文本信息di的主題分布，且服從參數(shù)為α的狄利克雷分布，定義第i條廣告的文本信息di的主題分布θi由K個與流行度預(yù)測相關(guān)的主題{θi1,θi2,…,θik,…,θiK}和一個背景主題組成，其中，θik表示第i條廣告的文本信息di在第k個與流行度預(yù)測相關(guān)的主題上的概率分布值，k∈[1,K]； 步驟2.1.2、令φk表示第k個主題詞分布，且φk服從參數(shù)為β0的狄利克雷分布，并有φk＝{φk1,φk2,…φkv,…φkV}，其中，φkv表示第v個詞匯被分配給第k個主題的概率，v∈[1,V]，V表示所有廣告的文本信息中不重復(fù)的詞匯總數(shù)； 令表示背景主題下的詞分布，且服從參數(shù)為β1的狄利克雷分布，并有其中，表示第v個詞匯被分配給背景主題的概率； 步驟2.1.3、定義二元指示變量b＝b1,b2,...,bi,...,b|D|，其中，bi表示第i個廣告的文本信息di中所有詞匯的主題所屬情況，并有其中，bin第i條廣告的文本信息di中第n個詞匯wi,n的主題所屬情況，且服從伯努利分布； 若bin＝1，表示第i條廣告的文本信息di中第n個詞匯wi,n屬于與流行度預(yù)測相關(guān)的主題，則定義第i條廣告的文本信息di中第n個詞匯的與流行度預(yù)測相關(guān)的主題編號為zin，且服從參數(shù)為θi的多項式分布；定義第i條廣告的文本信息di的第n個詞匯wi,n服從參數(shù)為的多項式分布，其中，表示第i條廣告的文本信息di的第n個詞匯wi,n所屬的與流行度預(yù)測相關(guān)的第zin個主題下的詞概率分布； 若bin＝0，表示第i條廣告的文本信息di的第n個詞匯wi,n屬于背景主題；定義第i條廣告的文本信息di的第n個詞匯wi,n服從參數(shù)為的多項式分布； 步驟2.1.4、使用式1～式3所示的坍塌式吉布斯抽樣分別計算第i條廣告的文本信息di的主題分布θi、第k個與流行度預(yù)測相關(guān)的主題下的詞分布φk和背景主題下的詞分布 式1～式3中，表示第i條廣告的文本信息di中分配到第k個與流行度預(yù)測相關(guān)的主題下的詞匯的數(shù)量；表示二元變量b為1時，所有文本信息中第v個詞匯分配到第k個與流行度預(yù)測相關(guān)的主題下的數(shù)量；表示二元變量b為0時，所有文本信息中第v個詞匯分配到背景主題下的數(shù)量； 根據(jù)第k個與流行度預(yù)測相關(guān)的主題下的詞分布φk，取概率最大的前E個詞匯對第k個與流行度預(yù)測相關(guān)的主題進行向量表征，并結(jié)合第i條廣告的文本信息di的主題分布θi，得到文本信息的特征矩陣其中，表示第i條廣告的文本信息di中第k個與流行度預(yù)測相關(guān)的主題的特征表示； 步驟2.2、通過預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)來提取圖片區(qū)域特征； 將第i條廣告的視覺信息Ii的第m張圖片pi,m劃分為Z個區(qū)域，得到圖片區(qū)域集合其中，表示第i條廣告的視覺信息Ii的第m張圖片pi,m中第z個區(qū)域；將第z個區(qū)域輸入VGG-16網(wǎng)絡(luò)，并輸出第m張圖片pi,m中第z個區(qū)域的特征表示vi,m,z，從而得到圖片區(qū)域的特征表示集合Vi,m＝[vi,m,1,…,vi,m,z,…,vi,m,Z]； 步驟2.3、獲取其他輔助信息的特征表示； 步驟2.3.1、獲取標(biāo)簽和標(biāo)題信息的特征表示； 將第i條廣告的標(biāo)簽信息li的第j個標(biāo)簽li,j表示為獨熱編碼yi,j，將第i條廣告的標(biāo)簽信息li的所有標(biāo)簽均表示為相應(yīng)的獨熱編碼并構(gòu)成編碼向量后輸入到LSTM模型，得到標(biāo)簽信息li的特征向量； 由標(biāo)簽信息li的特征向量構(gòu)造標(biāo)簽信息li的標(biāo)簽特征矩陣并進行均值池操作后得到第i條廣告的標(biāo)簽信息li的特征表示fi label；同理，得到第i條廣告的標(biāo)題信息ti的特征表示fi title； 步驟2.3.2、獲取作者信息的特征表示； 使用作者信息集合ai的粉絲數(shù)fi followers，作者信息集合ai的關(guān)注數(shù)fi followings，作者信息集合ai的作品數(shù)fi works作為第i條廣告的作者信息集合ai的特征表示，記為fi author＝[fi followers,fi followings,fi works]； 步驟2.3.3、獲取時間信息的特征表示； 將第i條廣告的時間信息集合Ti的小時fi hour、星期fi week、日fi day、月fi month、年fi year作為第i條廣告的時間信息Ti的特征表示作，記為fi time＝[fi hour,fi week,fi day,fi month,fi year]； 步驟3、引入基于文本的注意力機制； 步驟3.1、引入如式4和式5所示的注意力機制，從而利用式6得到第i條廣告的文本信息di的特征表示Q為文本特征維度： 式4～式6中，為詞級別的文本特征表示的隱表示，S為隱藏層維度，Wtopic為隱表示的權(quán)重矩陣，btopic為隱表示的偏置向量，αi,k∈R為文本特征表示的注意力得分，Wa為文本注意力得分的權(quán)重矩陣，tanh表示正切激活函數(shù)，表示文本特征表示的隱表示，k′∈[1,K]； 步驟3.2、通過基于文本的注意力機制得到每張圖片的特征表示； 利用式7和式8分別得到結(jié)合文本信息的圖片區(qū)域特征表示和第z個區(qū)域的注意力得分αi,m,z∈R，從而利用式9得到第m張圖片pi,m的特征表示 式7～式9中，Wregion為圖片區(qū)域特征表示的權(quán)重矩陣，Wtext為文本特征表示的權(quán)重矩陣，Wv為圖片區(qū)域注意力得分的權(quán)重矩陣；表示第i條廣告的視覺信息Ii中第m張圖片pi,m中第z′個區(qū)域的特征表示，z′∈[1,Z]，⊙表示元素乘積； 步驟3.3、使用注意力機制融合多張圖片的特征，最終得到第i條廣告的視覺信息Ii的特征表示 利用式10得到第i條廣告的視覺信息Ii中第m張圖片pi,m的隱特征表示hi,m∈RQ，利用式11計算第m張圖片pi,m的注意力得分ai,m∈R，利用式12得到最終學(xué)習(xí)到的第i條廣告的視覺信息Ii的特征表示 式10～式12中，Wimage為圖片隱特征表示的權(quán)重矩陣，bimage為圖片隱特征表示的偏置向量，Wh為圖片注意力得分的權(quán)重矩陣；hi,m′表示第i條廣告的視覺信息Ii中第m′張圖片pi,m′的隱特征表示，m′∈[1,Mi]； 步驟4、融合多模態(tài)廣告的文本與視覺特征； 利用式13所示的線性函數(shù)對文本特征與視覺特征進行融合，得到第i條廣告的融合表示 式13中，為外積；[]表示向量矩陣的線性化； 步驟5、利用融合后的全局特征預(yù)測流行度得分； 步驟5.1、將連接起來，得到第i條廣告的全局特征fi global，從而得到所有廣告的全局特征fglobal并輸入如式14所示的分類器中預(yù)測流行度得分 式14中，Wg和bg為分類器的權(quán)重矩陣與偏差向量； 步驟5.2、采用如式15所示的二元交叉熵作為目標(biāo)函數(shù)J： 式15中，C表示所述多模態(tài)數(shù)據(jù)集合D中作為訓(xùn)練集的數(shù)據(jù)條數(shù)，yc表示訓(xùn)練集中第c條廣告的真實流行度得分，表示訓(xùn)練集中第c條廣告的預(yù)測流行度得分；1＜C＜|D|； 步驟5.3、設(shè)置最大迭代次數(shù)epoch_number，利用反向傳播和梯度下降法對目標(biāo)函數(shù)J進行訓(xùn)練，使得J達到最小，當(dāng)?shù)螖?shù)達到epoch_number時，停止訓(xùn)練，從而得到最優(yōu)預(yù)測模型，用于對所輸入的多模態(tài)廣告數(shù)據(jù)進行流行度得分的預(yù)測。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人合肥工業(yè)大學(xué)，其通訊地址為：230009 安徽省合肥市包河區(qū)屯溪路193號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。