買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉張家港港務集團有限公司港埠分公司;北京主線科技有限公司申請的專利基于多模態的場景感知方法、裝置、電子設備和存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120219905B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510714686.9，技術領域涉及：G06V10/80；該發明授權基于多模態的場景感知方法、裝置、電子設備和存儲介質是由俞鋒;石亞飛;周一帆;褚佳鑫;白云飛;張健;張天雷;邢加偉設計研發完成，并于2025-05-30向國家知識產權局提交的專利申請。

本基于多模態的場景感知方法、裝置、電子設備和存儲介質在說明書摘要公布了：本公開提供了一種基于多模態的場景感知方法、裝置、電子設備和存儲介質。本公開實施例提供的方法中，先提取多視角圖像序列的圖像特征和4D雷達數據序列獲的雷達特征，使用歷史雷達特征和當前雷達特征在BEV空間與體素空間建模動態場景與靜態場景的時空演化以得到動態場景特征和靜態場景特征，再針對圖像特征、動態場景特征和靜態場景特征進行跨模態交互融合得到多模態融合特征，該多模態融合特征可直接用于3D目標檢測、語義占用預測和或運動狀態估計。本公開能夠在復雜環境下實現高精度、高效率的場景理解。

本發明授權基于多模態的場景感知方法、裝置、電子設備和存儲介質在權利要求書中公布了：1.一種基于多模態的場景感知方法，其特征在于，所述方法包括： 從車輛上裝載的多視角相機陣列和4D成像雷達組獲取當前多視角圖像序列和當前4D雷達數據序列，所述4D雷達數據序列中的4D雷達數據包括目標的空間位置、速度、反射強度、信噪比，所述速度是指目標相對于雷達的徑向速度，通過所述速度能夠區分靜止與移動物體，所述目標是指所述4D成像雷達組探測到的物理實體； 利用所述當前多視角圖像序列得到當前圖像特征； 利用所述當前4D雷達數據序列獲取當前的雷達特征，所述雷達特征包括雷達體素特征與雷達BEV特征； 基于先前緩存的歷史雷達特征和當前的雷達特征，在BEV空間與體素空間建模動態場景與靜態場景的時空演化以得到當前動態場景特征和當前靜態場景特征，所述動態場景特征用于表征車輛四周環境中動態物體的時空演化狀況，所述靜態場景特征用于表征車輛四周環境中靜態物體的時空演化狀況； 針對所述當前圖像特征、當前動態場景特征和當前靜態場景特征進行跨模態交互融合以得到多模態融合特征，所述多模態融合特征用于執行關于車輛四周環境的3D目標檢測、語義占用預測和或運動狀態估計； 其中，所述基于先前緩存的歷史雷達特征和當前的雷達特征，在BEV空間與體素空間建模動態場景與靜態場景的時空演化以得到當前動態場景特征和當前靜態場景特征，包括：從緩沖區讀取先前緩存的歷史雷達特征，所述歷史雷達特征包括歷史雷達體素特征和歷史雷達BEV特征；使用多尺度空洞時序融合網絡基于所述歷史雷達特征和所述當前雷達特征獲得動態場景特征和靜態場景特征，所述多尺度空洞時序融合網絡包括空洞時序卷積網絡，所述空洞時序卷積網絡包括多個連續的空洞卷積層，所述多個連續的空洞卷積層的空洞率按層級指數增長且卷積核尺寸相同；使用多目標卡爾曼濾波追蹤的方式對所述動態場景特征進行動態目標補償； 其中，所述針對所述當前圖像特征、當前動態場景特征和當前靜態場景特征進行跨模態交互融合以得到多模態融合特征，包括：融合所述當前圖像特征和所述當前靜態場景特征以獲得圖像體素特征；使用門控交叉注意力模塊動態融合所述動態場景特征和所述圖像體素特征以獲得跨模態交互特征；在幾何一致性約束下融合所述動態場景特征與所述圖像體素特征以獲得幾何對齊特征；通過多尺度金字塔池化整合所述幾何對齊特征和所述跨模態交互特征以獲得所述多模態融合特征。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人張家港港務集團有限公司港埠分公司;北京主線科技有限公司，其通訊地址為：215633 江蘇省蘇州市金港鎮香山北路100號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。