東南大學姚莉獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉東南大學申請的專利一種基于時域濾波神經輻射場的稀疏圖像視圖合成方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN118262028B 。
龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202410445699.6,技術領域涉及:G06T15/20;該發明授權一種基于時域濾波神經輻射場的稀疏圖像視圖合成方法是由姚莉;滕逸青設計研發完成,并于2024-04-15向國家知識產權局提交的專利申請。
本一種基于時域濾波神經輻射場的稀疏圖像視圖合成方法在說明書摘要公布了:本發明提出了一種基于時域濾波神經輻射場的稀疏圖像視圖合成方法,本方法創新性引入一種時域濾波的神經輻射場模型,旨在解決由于多層感知機表示的神經輻射場渲染開銷大,無法通過超采樣的方式降低合成圖像的鋸齒噪聲等問題,通過在時域內應用濾波技術,有效分攤超采樣所需的計算負擔到連續的幀上,從而在不增加額外的網絡推理次數的前提下,顯著提升了合成圖像的質量,并有效減少了噪聲與鋸齒現象。此外為了提高神經輻射場的幾何提取能力,方法引入了深度先驗網絡,并設計了幀間幾何一致性損失,增強神經輻射場在多視圖上的表達能力,提高網絡的泛化性能。
本發明授權一種基于時域濾波神經輻射場的稀疏圖像視圖合成方法在權利要求書中公布了:1.一種基于時域濾波神經輻射場的稀疏圖像視圖合成方法,包括預處理階段、神經輻射場訓練階段和渲染階段,其特征在于,各階段如下: 1)預處理階段: 對輸入的相關RGB圖像進行一系列處理,得到場景的外觀信息和深度幾何信息,再通過運動恢復結構算法來獲取圖像對應的相機位姿; 2)神經輻射場訓練階段: 通過基于約束的神經輻射場模型; 步驟2)神經輻射場訓練階段具體包括如下步驟: 步驟2.1:利用單目深度先驗作為在輸入視點下基于排序的深度先驗,計算排序損失,蒸餾預訓練模型中的幾何提取能力,對于一個相機位姿為P的RGB圖像I,首先通過神經輻射場從相機位姿P出發,渲染出深度圖并隨機選取局部區域,同時將圖像送入depthanything生成預估深度圖并選擇相同的局部區域,設 為深度圖像上的兩個2D坐標; 步驟2.2:如果相鄰的深度像素在depthanything提供的深度圖中體現為連續,那么將這種連續性的約束應用于NeRF對應的深度像素,從而保證其連續性,KNN·為最鄰近函數,對于當前像素k1,用于返回在depthanything的深度圖上已k1為中心某個小區域k個最鄰近深度值,公式如下; ; 步驟2.3:未知視點相機姿態生成,認為已知視點相機位姿空間限制了未知視點相機空間,所從已知視點相機位姿空間中推斷未知視點相機位姿空間,并在該空間中采樣,生成未知視點相機位姿,公式如下; ; 步驟2.4:重要性采樣,采用多維高斯分布采樣,即為只需要在訓練前計算一次每場輸入圖像的相機視錐體,計算出重疊次數最多的中心區域,該區域認為是需要重建物體的重點區域,采樣公式如下; ; 步驟2.5:未知視點局部幾何光滑性約束,在未知視點計算出該視點下深度圖,然后計算局部幾何光滑性約束損失,其中表示在該視點下的相機向場景投射的集合,Patch為局部大小,公式如下: ; 步驟2.6:未知視點局部顏色正則化,對于未知視點,計算該視點下神經輻射場生成的圖像塊的似然估計,并在訓練階段最大化該似然估計,公式如下; ; 3)渲染階段: 使用基于時域濾波的神經輻射場模型; 步驟3)渲染階段具體包括如下步驟: 步驟3.1:生成低差異序列,在神經輻射場中,對于每一幀中來說,每個像素只能有一根光線進行采樣著色,為了對每一幀的所有像素生成不同的光線樣本,需要在相機投影矩陣中添加一個視口子像素偏移,而每幀的偏移是從一個均勻分布的采樣序列中生成,從而讓每個像素被多幀中生成的樣本均勻覆蓋,在渲染中,為了讓時域濾波累積結果盡快收斂,該序列必須有這樣的性質:序列中任意長度的子序列都必須在像素上均勻分布; 步驟3.2:像素坐標重投影,在神經輻射場渲染中,由于幀與幀之間相機位置在發生變動,當前像素對應的三維點在上一幀中會有不同的像素坐標,所以需要對每個像素計算在上一幀中的對應位置來獲得歷史數據; 步驟3.3:顏色重采樣,通過雙線性插值來重采樣; 步驟3.4:顏色混合,將每個像素的累積樣本加權平均存儲為單個顏色,這既是當前幀的輸出,也是下一幀的歷史輸入結果,公式如下; 。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人東南大學,其通訊地址為:210000 江蘇省南京市江寧區東南大學路2號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。