買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉浪潮(北京)電子信息產業有限公司申請的專利一種多模態數據處理方法、裝置、設備及存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114330488B 。

龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111400866.8，技術領域涉及：G06V10/764；該發明授權一種多模態數據處理方法、裝置、設備及存儲介質是由晁銀銀;王斌強;董剛;胡克坤;趙雅倩;李仁剛設計研發完成，并于2021-11-19向國家知識產權局提交的專利申請。

本一種多模態數據處理方法、裝置、設備及存儲介質在說明書摘要公布了：本申請公開了一種多模態數據處理方法、裝置、設備及存儲介質，該方法包括：獲取目標物體的不同光學模態信息，制作多模態數據集；構建多模態融合網絡模型；多模態融合網絡模型包括用于提取各模態特征的模態特征提取網絡，用于將各模態特征進行合并的模態特征融合網絡，以及用于將合并后的目標特征進行分類任務或回歸任務的決策網絡；利用多模態數據集訓練多模態融合網絡模型；獲取待測物體的不同光學模態信息，并輸入至訓練完成的多模態融合網絡模型中，輸出分類結果或回歸結果。這樣可以獲取物體的各光學模態的豐富特征以及不同光學模態之間的內在關系，高效完成分類或回歸任務，進而促進多模態人工智能信息提取和融合的發展，提升競爭力。

本發明授權一種多模態數據處理方法、裝置、設備及存儲介質在權利要求書中公布了：1.一種多模態數據處理方法，其特征在于，包括： 通過分光系統將來自目標物體的反射光分為第一光束和第二光束；所述第一光束傳輸至光學微偏振器系統；所述第二光束傳輸至傅里葉4f系統；通過所述光學微偏振器系統獲取強度信息和偏振信息；同時，通過所述傅里葉4f系統獲取頻率信息；所述光學微偏振器系統包括第一凸透鏡、微偏振片和第一探測器；其中，所述第一凸透鏡，用于將所述第一光束會聚到所述微偏振片上；所述微偏振片，用于同時采集強度信息和偏振信息；所述第一探測器，用于將所述微偏振片采集的強度信息和偏振信息轉化為二維矩陣數據；所述微偏振片中每個像素單元包括用于采集強度信息的兩個增透子單元和用于采集偏振信息的兩個線偏振子單元；兩個所述線偏振子單元呈對角分布；兩個所述增透子單元呈對角分布； 根據目標物體的強度信息、偏振信息和頻率信息，制作多模態數據集；所述多模態數據集為二維矩陣形式； 構建多模態融合網絡模型；所述多模態融合網絡模型包括用于提取各模態特征的模態特征提取網絡，用于將各模態特征進行合并的模態特征融合網絡，以及用于將合并后的目標特征進行分類任務或回歸任務的決策網絡；所述模態特征提取網絡包括多個模態特征提取子網絡；各模態特征提取子網絡與各模態一一對應；各模態特征提取子網絡的輸入為多模態數據集，輸出為模態嵌入向量；各模態特征提取子網絡采用flatten層將輸入的二維矩陣轉化為一維向量并輸入至全連接層，將全連接層的輸出結果輸入至注意力層；各模態特征提取子網絡的輸入和權重參數不共享；注意力層包括線性映射、ReLU激活和歸一化層；注意力層的輸出與輸入具有相同維度；將歸一化層輸出的權重向量與全連接層的輸出結果對應點相乘，得到所述模態特征提取網絡的輸出；所述模態特征融合網絡是提取不同模態之間的內在關系，將多個模態輸入轉換為三維矩陣輸出；所述決策網絡將三維矩陣輸入到flatten層得到一維矢量，再輸入到ReLU層；ReLU層包括線性映射運算和ReLU非線性激活函數運算；所述決策網絡的輸出層softmax層或sigmoid層，分別完成分類或者回歸任務； 利用所述多模態數據集訓練所述多模態融合網絡模型； 獲取待測物體的不同光學模態信息，并輸入至訓練完成的所述多模態融合網絡模型中，輸出分類結果或回歸結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浪潮(北京)電子信息產業有限公司，其通訊地址為：100085 北京市海淀區上地信息路2號2-1號C棟1層；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。