東南大學張濤獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉東南大學申請的專利基于Transformer的單目光流、深度和位姿無監督聯合估計方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN115810045B 。
龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202211473988.4,技術領域涉及:G06T7/73;該發明授權基于Transformer的單目光流、深度和位姿無監督聯合估計方法是由張濤;劉曉晨設計研發完成,并于2022-11-23向國家知識產權局提交的專利申請。
本基于Transformer的單目光流、深度和位姿無監督聯合估計方法在說明書摘要公布了:基于Transformer的單目光流、深度和位姿無監督聯合估計方法,具體來說,為降低網絡參數和結構的冗余,同時考慮光流、深度和位姿無監督聯合估計的任務在時序上的連續性,本發明采用具有全局感受野的Transformer作為唯一的特征編碼器為三個任務同時提供統一的、具有一致性的特征描述。此外,為實現光流、深度和位姿估計之間的精度提升,考慮到聯合估計任務之間的相似性。本發明在網絡的訓練過程中,提出了互引機制來為網絡引入幾何先驗,實現對光流與位姿、深度的雙向迭代優化。此方法可以用于以無人機、無人車或機器人等為載體的,面向單目視覺的光流、深度和位姿的聯合估計任務。
本發明授權基于Transformer的單目光流、深度和位姿無監督聯合估計方法在權利要求書中公布了:1.基于Transformer的單目光流、深度和位姿無監督聯合估計方法,具體步驟如下,其特征在于: (1)訓練階段: 在訓練階段的數據為單目相機采集的三張連續圖片幀,將其在通道維度進行拼接后直接輸入到Transformer編碼器對特征進行編碼,為后續光流、深度和位姿的聯合估計提供統一的特征表示,而后分別經過光流、深度和位姿解碼器完成對特征的解碼,進而完成對應信息的聯合估計,在此過程中,采用改進的無監督損失函數,利用光流和深度與位姿之間的空間結構關系,使得網絡實現無監督學習,并利用梯度回傳對網絡參數進行不斷迭代,直至損失趨向最優,完成訓練; 所述步驟(1)中無監督光流、深度和位姿聯合估計網絡的具體含義如下: 包括以下兩個方面; (1)基于Transformer的統一特征提取器, 用一個Transformer作為三個任務的統一編碼器,僅用一次統一的特征提取即可完成三個任務對于不同特征的需求,同時,光流、深度和位姿估計任務在三維結構上具有強的幾何一致性,網絡由Transformer編碼器和光流、深度與位姿解碼器分支組成,各個網絡結構關系如下; (1) (2) (3) (4) 其中,代表Transformer統一特征提取器,代表三張時間連續的輸入圖像幀,代表Transformer提取的統一特征,表示光流解碼器分支網絡估計出的兩組光流,代表由深度解碼器分支網絡估計出的一張深度圖,則為位姿解碼器分支網絡估計的兩組位姿; (2)基于互引機制的光流與深度、位姿的迭代優化方法; 通過引入互引機制來為網絡引入幾何先驗,實現光流與位姿、深度的雙向迭代優化,具體來說,為使光流與深度、位姿的估計精度能夠實現相互促進,利用光流分支作為深度和位姿分支的指導器,令其在光流的角度指導深度和位姿生成,同時,深度和位姿分支亦作為光流分支的指導器,使其在深度和位姿估計的角度指導光流的生成,以此種互引機制來使得光流與深度、位姿估計相互促進; (2)預測階段: 當網絡完成訓練后,固定網絡參數,輸入三幀測試集上連續的單目圖像,經過Transformer編碼器對特征的統一提取與編碼后,輸入給各個解碼器分支,即可同時完成單目光流、深度和位姿的估計,同時,三個任務在預測階段亦可獨立實現預測,互不干擾。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人東南大學,其通訊地址為:210096 江蘇省南京市玄武區四牌樓2號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。