中科(深圳)無線半導體有限公司趙柏聿獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉中科(深圳)無線半導體有限公司申請的專利一種基于視覺與文本常識增強的具身智能體室內導航方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120297427B 。
龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510787869.3,技術領域涉及:G06N5/04;該發明授權一種基于視覺與文本常識增強的具身智能體室內導航方法是由趙柏聿;高放;唐鏡峰;麻勝恒設計研發完成,并于2025-06-13向國家知識產權局提交的專利申請。
本一種基于視覺與文本常識增強的具身智能體室內導航方法在說明書摘要公布了:本發明公開了一種基于視覺與文本常識增強的具身智能體室內導航方法,包括借助ChatGPT和BLIP?2來提供環境常識性信息;借助StableDiffusion生成常識性的視覺圖像;通過視覺編碼器和文本編碼器分別提取視覺特征和文本特征;通過拓撲映射構建拓撲圖特征;通過文本常識布局學習模塊和視覺常識布局學習模塊,分別從語言和視覺兩個維度幫助VLN代理學習環境常識;將學習常識后的文本特征與學習常識后的視覺?拓撲特征融合得到多模態融合特征,并作為分類回歸頭的輸入進行動作預測;最后執行在線導航,加載訓練模型測試導航效果。本發明通過文本和視覺常識中包含的房間類型和房間類型中常見物體等語義和視覺信息,增強視覺特征的表達能力,提高了導航精度和魯棒性。
本發明授權一種基于視覺與文本常識增強的具身智能體室內導航方法在權利要求書中公布了:1.一種基于視覺與文本常識增強的具身智能體室內導航方法,其特征在于,包括以下步驟: S10、基于Matterport3D模擬器生成的室內環境的全景圖,利用BLIP-2模型和ChatGPT模型來提供環境常識性信息,其中BLIP-2模型用于解析每個全景圖所對應的房間類型,ChatGPT模型用于推理并提供每種房間類型中的地標常識; S20、利用StableDiffusion模型根據房間類型和地標常識,生成房間類型中帶有地標常識的常識性視覺圖像; S30、從Matterport3D模擬器中獲取全景圖和指令數據集; S40、通過視覺編碼器從全景圖中提取視圖的視覺特征,并通過文本編碼器從指令數據集中提取指令的文本特征; S50、利用獲取的視覺特征通過拓撲映射構建拓撲圖特征; S60、通過CLIP模型分別提取出文本常識特征和視覺常識特征; S70、根據獲取的拓撲圖特征、文本常識特征和視覺常識特征,通過構建的文本常識布局學習模塊和視覺常識布局學習模塊,分別從語言和視覺兩個維度幫助VLN代理學習環境常識,輸出視覺-拓撲特征和文本指令特征; S80、將步驟S70輸出的視覺-拓撲特征和文本指令特征融合得到多模態融合特征; S90、將多模態融合特征輸入到動作預測分類頭進行動作預測; S100、通過預訓練-微調模式訓練,并使用強化學習和模仿學習執行在線導航,加載訓練基于視覺與文本常識增強的布局學習微調模型測試導航效果,其中該基于視覺與文本常識增強的布局學習微調模型由上述步驟S10-S90的過程實現。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中科(深圳)無線半導體有限公司,其通訊地址為:518000 廣東省深圳市南山區南頭街道馬家龍社區南山大道3838號工業村金棟309;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。