買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉福州掌中云科技有限公司;福州掌聯科技有限公司;杭州玩閱互動網絡科技有限公司申請的專利一種基于多模態深度學習的投流素材效果預測方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120374200B 。

龍圖騰網通過國家知識產權局官網在2025-09-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510874763.7，技術領域涉及：G06Q30/0242；該發明授權一種基于多模態深度學習的投流素材效果預測方法及系統是由洪江文;周柳鴻;洪素華;林謀洪設計研發完成，并于2025-06-27向國家知識產權局提交的專利申請。

本一種基于多模態深度學習的投流素材效果預測方法及系統在說明書摘要公布了：本發明涉及一種基于多模態深度學習的投流素材效果預測方法及系統，包括以下步驟：S1:獲取素材數據，并標注每個素材數據的歷史效果；S2:對采集的素材數據進行預處理：S3:基于多模態特征提取與融合網絡，對預處理后的素材數據進行特征提取與融合，得到融合后的多模態特征向量；S4:構建多任務預測模型并基于融合后的多模態特征向量訓練,對多任務預測模型校準與不確定性分析，得到最終的多任務預測模型；S5:新素材上傳后，調用最終的多任務預測模型，輸出預測結果，并根據預測結果排序素材，優先投放高CTR且高CVR的素材組合。本發明顯著提升投流素材效果預測的預測精度。

本發明授權一種基于多模態深度學習的投流素材效果預測方法及系統在權利要求書中公布了：1.一種基于多模態深度學習的投流素材效果預測方法，其特征在于，包括以下步驟： S1:獲取素材數據，并標注每個素材數據的歷史效果； S2:對采集的素材數據進行預處理： S3:基于多模態特征提取與融合網絡，對預處理后的素材數據進行特征提取與融合，得到融合后的多模態特征向量； S4:構建多任務預測模型并基于融合后的多模態特征向量訓練，對多任務預測模型校準與不確定性分析，得到最終的多任務預測模型； S5:新素材上傳后，調用最終的多任務預測模型，輸出預測結果，并根據預測結果排序素材，優先投放高CTR且高CVR的素材組合； 所述多模態特征提取與融合網絡通過主干網絡提取圖像特征、視頻特征、文本特征和結構化特征，并通過分階段融合策略，將圖像、文本、視頻、結構化特征多模態信息映射到統一語義空間，生成強表征能力的融合特征向量； 所述主干網絡，具體如下： 圖像視頻主干網絡采用SwinTransformer，輸入預處理后的圖像I或視頻關鍵幀序列It； 輸出單圖像特征fimg： ； 其中，為SwinTransformer骨干網絡，用于提取圖像幀的全局特征； 視頻特征fvid： ； 其中，T為采樣的視頻幀數，t用于遍歷采樣的視頻幀數； 文本主干網絡采用BERT-Base，輸入分詞后的文本Token序列，輸出取CLS向量作為全局語義表征ftxt： ； 其中，Tokens為分詞后的文本序列；為BERT-Base骨干網絡，對Tokens編碼; 結構化特征提取： 類別型特征： ； 其中，Categoryi為第i個類別型特征；ei為第i個類別型特征的嵌入向量；為嵌入操作； 數值型特征通過標準化處理后直接拼接，得到fnum： ； 其中，分別為對歷史CTR、曝光量數值特征做標準化后的值；Concat為拼接函數； 最終結構化特征f meta ： ； 其中，為全連接多層感知機； 所述分階段融合策略通過早期對齊、中期交互、晚期聚合，充分挖掘模態間顯式與隱式關聯，具體如下： 早期融合，通過線性投影將多模態特征映射至統一空間，降低異構特征差異： 其中，為圖像特征到融合空間的線性映射矩陣；為文本特征到融合空間的線性映射矩陣；為結構化特征到融合空間的線性映射矩陣；、、分別為對應的偏置；、、分別為圖像特征、文本特征和結構特征經過投影后的統一模態特征； 中期交互，結合Cross-Attention和TransformerEncoder，進行跨模態交互建模，允許圖像與文本動態交互： ； 其中，分別為查詢、鍵和值矩陣；WQ，WK，WV分別為將對應特征映射為Q、K、V空間的權重矩陣；d為特征維度； 輸出： ； 其中，hcross為跨模態交互后的融合特征；為對張量歸一化；AttentionQ,K,V為注意力計算輸出； 將跨模態交互后的融合特征輸入TransformerEncoder： ； 其中，Henc為編碼后的多模態序列表示； 晚期融合，采用門控注意力池化和雙線性交互增強，捕捉高階特征交互： 門控注意力池化： ； ； 其中，Wg、bg分別為門控權重矩陣和偏置；為第i’個模態的注意力權重；為編碼后的第i’個模態序列表示；hpool為池化后的融合特征； 雙線性交互增強： ； 其中，U為用于計算圖像與文本高階交互的權重矩陣；hbilinear為捕獲模態之間的二階相關性； 最終融合特征hfused： ； 其中，Wf、bf分別為拼接層的權重和偏置，ReLU為激活函數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人福州掌中云科技有限公司;福州掌聯科技有限公司;杭州玩閱互動網絡科技有限公司，其通訊地址為：350000 福建省福州市鼓樓區軟件大道89號福州軟件園F區4號樓16層；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。