買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉湖北民族大學申請的專利基于跨模態圖像融合識別的異常駕駛行為檢測方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119206674B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411262320.4，技術領域涉及：G06V20/59；該發明授權基于跨模態圖像融合識別的異常駕駛行為檢測方法是由胡濤;譚寒鐘;李軍設計研發完成，并于2024-09-10向國家知識產權局提交的專利申請。

本基于跨模態圖像融合識別的異常駕駛行為檢測方法在說明書摘要公布了：本發明提供一種基于跨模態圖像融合識別的異常駕駛行為檢測方法，包括對駕駛員的駕駛行為進行紅外和深度模態圖像采集；針對在同一視角下采集到的紅外和深度模態圖像，對紅外和深度模態圖像均執行：采用編碼器對對應模態圖像進行N次MT2T處理，獲得對應模態特征圖；采用跨模態雙邊多頭多交叉代理轉換器對紅外和深度模態特征圖進行跨模態融合，獲得紅外和深度模態特征融合圖；將紅外和深度模態特征融合圖進行疊加，獲得模態特征總圖，采用解碼器對該模態特征總圖進行N+1次RMT2T處理，獲得解碼標記；根據解碼標記、檢測標記和邊界標記，對該視角下駕駛員的異常駕駛行為進行檢測。本發明異常駕駛行為檢測方法較為簡單、識別準確度和效率均較高。

本發明授權基于跨模態圖像融合識別的異常駕駛行為檢測方法在權利要求書中公布了：1.一種基于跨模態圖像融合識別的異常駕駛行為檢測方法，其特征在于，包括： 步驟S100、對駕駛員的駕駛行為進行紅外模態圖像和深度模態圖像采集； 步驟S200、針對在同一視角下采集到的紅外模態圖像和深度模態圖像，對該紅外模態圖像和深度模態圖像均執行：采用編碼器對對應模態圖像進行N次MT2T處理，獲得對應模態特征圖，N為大于1的整數； 步驟S300、采用跨模態雙邊多頭多交叉代理轉換器對紅外模態特征圖和深度模態特征圖進行跨模態融合，獲得紅外模態特征融合圖和深度模態特征融合圖； 步驟S400、將該紅外模態特征融合圖和深度模態特征融合圖進行疊加，獲得模態特征總圖，采用解碼器對該模態特征總圖進行N+1次RMT2T處理，獲得解碼標記； 步驟S500、根據該解碼標記、檢測標記和邊界標記，對該視角下駕駛員的異常駕駛行為進行檢測； 所述步驟S200包括對該紅外模態圖像和深度模態圖像均執行以下步驟： 步驟S210、將對應模態圖像輸入MRT2T模塊中，該MRT2T模塊將該模態圖像中的每一幀均編碼為補丁標記patchtoken； 步驟S220、該MRT2T模塊使用MHSA層對該補丁標記patchtoken進行注意力計算，此后再通過多層感知機MLP，以將該補丁標記patchtoken轉換為新的標記token，將該新的標記token重塑成二維圖像，由此完成該補丁標記patchtoken的重構； 步驟S230、對該二維圖像進行軟分割，以將該二維圖像分割為多個大小為k*k的圖像補丁，每個圖像補丁與其相鄰圖像補丁均有s個重疊的標記token，由此完成一次MT2T處理，獲得第i次MT2T處理后的對應模態特征圖，將用于表示MT2T處理完成次數的i加1，其中k和N均為大于1的整數，s為大于0的整數，i為小于或者等于N的整數且初始值為1； 步驟S240、判斷i是否等于N，若是，則表示該MRT2T模塊完成下采樣，獲得第N次MT2T處理后的對應模態特征圖，執行步驟S300；否則，對于第i次MT2T處理后獲得的對應模態特征圖，將該模態特征圖中的圖像補丁作為該補丁標記patchtoken，返回執行步驟S220，所述模態特征圖包括紅外模態特征圖和深度模態特征圖； 所述步驟S300包括： 步驟S310、通過layearNorm層對該紅外模態特征圖和深度模態特征圖分別進行歸一化處理； 步驟S320、利用雙邊交叉代理注意力網絡結構對歸一化處理后的紅外模態特征圖和深度模態特征圖進行跨模態特征融合，獲得紅外模態代理特征和深度模態代理特征； 步驟S330、將該紅外模態特征圖與該紅外模態代理特征進行疊加，獲得紅外模態特征疊加圖；將該深度模態特征圖與該深度模態代理特征進行疊加，獲得深度模態特征疊加圖； 步驟S340、通過layearNorm層對該紅外模態特征疊加圖和深度模態特征疊加圖分別進行歸一化處理； 步驟S350、歸一化處理后的紅外模態特征疊加圖和深度模態特征疊加圖分別通過多層感知機MLP后，對應與該紅外模態特征疊加圖和深度模態特征疊加圖疊加，獲得紅外模態特征融合圖和深度模態特征融合圖； 所述步驟S320包括： 步驟S321、將該紅外模態特征圖和深度模態特征圖的注意力分別擴增為四元組Qr,Ar,Kr,Vr和Qd,Ad,Kd,Vd，其中Qr,Kr,Vr分別為紅外模態特征圖的原始Softmax注意力中的三組標記token，Ar是由Qr池化而來的標記token，且Qr,Kr,Vr為該紅外模態特征圖分別經過三個不同的線性投影層后獲得的對應組標記token；Qd,Kd,Vd分別為深度模態特征圖的原始Softmax注意力中的三組標記token，Ad是由Qd池化而來的標記token，且Qd,Kd,Vd為該深度模態特征圖分別經過三個不同的線性投影層后獲得的對應組標記token； 步驟S322、針對該紅外模態特征圖，根據Ar、Kd和Vd進行第一次交叉代理注意力計算，獲得針對該深度模態特征圖，根據Ad、Kr和Vr進行第一次交叉代理注意力計算，獲得 步驟S323、針對該紅外模態特征圖，根據Qr、Ad和進行第二次交叉代理注意力計算，獲得針對該深度模態特征圖，根據Qd、Ar和進行第二次交叉代理注意力計算，獲得 步驟S324、針對該紅外模態特征圖，將與深度卷積DWC后的Vr進行疊加，獲得紅外模態代理特征；針對深度模態特征圖，將與深度卷積后的Vd進行疊加，獲得深度模態代理特征。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人湖北民族大學，其通訊地址為：445000 湖北省恩施土家族苗族自治州學院路39號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。