深圳市銳明像素科技有限公司王鵬獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉深圳市銳明像素科技有限公司申請的專利基于多模態大模型的道路病害檢測方法及裝置獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119495027B 。
龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510074499.9,技術領域涉及:G06V20/10;該發明授權基于多模態大模型的道路病害檢測方法及裝置是由王鵬;賀昂;王鵬飛;劉加美設計研發完成,并于2025-01-17向國家知識產權局提交的專利申請。
本基于多模態大模型的道路病害檢測方法及裝置在說明書摘要公布了:本申請提供的一種基于多模態大模型的道路病害檢測方法及裝置,通過獲取道路的圖像信息和所述圖像信息中關于病害類型的文本信息。將所述文本信息輸出到語義識別模型中確定語義信息;將所述圖像信息和所述語義信息輸入到多模態大模型中,確定所述道路的病害信息,能夠基于多模態信息來實現道路病害的檢測,能夠提高檢測精度。
本發明授權基于多模態大模型的道路病害檢測方法及裝置在權利要求書中公布了:1.一種基于多模態大模型的道路病害檢測方法,其特征在于,包括: 獲取道路的圖像信息和所述圖像信息中關于病害類型的文本信息; 將所述文本信息輸出到語義識別模型中確定語義信息; 將所述圖像信息和所述語義信息輸入到多模態大模型中,確定所述道路的病害信息;所述多模態大模型包括:骨干網絡、頸部網絡和檢測頭,所述骨干網絡的輸入為所述圖像信息,所述骨干網絡用于基于所述圖像信息提取多維度的特征信息,并將多維度的所述特征信息輸出到所述頸部網絡,所述頸部網絡的輸入為多維度的所述特征信息和所述語義信息,所述頸部網絡用于基于多維度的所述特征信息和所述語義信息確定融合特征信息,并輸出所述融合特征信息到所述檢測頭,所述檢測頭用于基于所述融合特征信息進行檢測并輸出所述道路的病害信息;所述骨干網絡包括:多個可變形卷積的自適應輕量級通道分割與重排ALCSR模塊,每個ALCSR模塊用于對輸入的特征信息進行自適應通道分割,得到各個通道的特征信息,并將各個通道的特征信息進行合并輸出,各個通道通過通道重排機制進行通道間的信息交換,每個通道中設有可變形卷積模塊,所述可變形卷積模塊用于對對應通道中的特征信息進行形狀改變后輸出,多個ALCSR模塊包括:第一ALCSR模塊、第二ALCSR模塊、第三ALCSR模塊、第四ALCSR模塊和第五ALCSR模塊,所述骨干網絡還包括:第一CBS模塊、第二CBS模塊、第三CBS模塊和第四CBS模塊,所述第一CBS模塊、第二CBS模塊、第三CBS模塊、第四CBS模塊依次連接,所述第一CBS模塊的輸入為所述圖像信息,所述第四CBS模塊的輸出為所述第一ALCSR模塊的輸入,所述第二ALCSR模塊的輸入為所述第一ALCSR模塊的輸出,所述第二ALCSR模塊的輸出為所述第三ALCSR模塊和所述頸部網絡的輸入,所述第三ALCSR模塊的輸出為所述第四ALCSR模塊的輸入,所述第四ALCSR模塊的輸出為所述第五ALCSR模塊和所述頸部網絡的輸入,所述第五ALCSR模塊的輸出為所述頸部網絡的輸入;所述頸部網絡包括:多個基于注意力機制的圖像文本特征對齊TITFA模塊,各個TITFA模塊用于對輸入的語義信息和特征信息進行融合,多個TITFA模塊包括:第一TITFA模塊、第二TITFA模塊、第三TITFA模塊,所述頸部網絡還包括:基于注意力機制的語義信息交互模塊、第一上采樣模塊、第一特征拼接模塊、第六ALCSR模塊、第二上采樣模塊、第二特征拼接模塊、第七ALCSR模塊、第五CBS模塊、第三特征拼接模塊、第八ALCSR模塊、第六CBS模塊、第四特征拼接模塊和第九ALCSR模塊,所述語義信息交互模塊的輸入為所述第五ALCSR模塊的輸出,所述語義信息交互模塊的輸出為所述第一上采樣模塊的輸入,所述第一特征拼接模塊的輸入為所述第一上采樣模塊和所述第四ALCSR模塊的輸出,所述第一特征拼接模塊的輸出為所述第六ALCSR模塊的輸入,所述第六ALCSR模塊的輸出為所述第二上采樣模塊和所述第三特征拼接模塊的輸入,所述第二特征拼接模塊的輸入為所述第二ALCSR模塊和所述第二上采樣模塊的輸出,所述第一TITFA模塊的輸入為所述第二特征拼接模塊的輸入和所述語義信息,所述第一TITFA模塊的輸出為所述第七ALCSR模塊的輸入,所述第七ALCSR模塊輸出為所述第五CBS模塊和所述檢測頭的輸入,所述第五CBS模塊的輸出為第三特征拼接模塊的輸入,所述第二TITFA模塊的輸入為所述語義信息和所述第三特征拼接模塊的輸出,所述第二TITFA模塊的輸出為所述第八ALCSR模塊的輸入,所述第八ALCSR模塊的輸出為所述第六CBS模塊和所述檢測頭的輸入,所述第四特征拼接模塊的輸入為所述第五ALCSR模塊和所述第六CBS模塊的輸出,所述第三TITFA模塊的輸入為所述語義信息和所述第四特征拼接模塊的輸出,所述第三TITFA模塊的輸出為第九ALCSR模塊的輸入,所述第九ALCSR模塊的輸出為所述檢測頭的輸入。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人深圳市銳明像素科技有限公司,其通訊地址為:518000 廣東省深圳市南山區桃源街道長源社區學苑大道1001號B1棟2001;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。