江西農業大學;江西省檢驗檢測認證總院檢測認證技術發展研究院劉鑫獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉江西農業大學;江西省檢驗檢測認證總院檢測認證技術發展研究院申請的專利一種融合大語言模型的神經輻射場植株渲染方法及裝置獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120411325B 。
龍圖騰網通過國家知識產權局官網在2025-09-02發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510914606.4,技術領域涉及:G06T15/00;該發明授權一種融合大語言模型的神經輻射場植株渲染方法及裝置是由劉鑫;張鳴虹;易文龍設計研發完成,并于2025-07-03向國家知識產權局提交的專利申請。
本一種融合大語言模型的神經輻射場植株渲染方法及裝置在說明書摘要公布了:本發明公開了一種融合大語言模型的神經輻射場植株渲染方法及裝置,該方法通過采集帶文本提示符的植株圖像集合,利用大語言模型從植株圖像對應的文本提示符中提取語義信息,生成偽標簽;使用偽標簽,以對多視角植株圖像之間的幾何對應關系與單張植株圖像內部的自監督關系對分割模型進行微調;將植株圖像的位置參數輸入神經網絡模型預測得到新的圖像參數,再通過體渲染公式進行渲染圖像生成;加入不確定性估計損失同時給定目標文本提示符,以分割模型生成在每個輸入視圖上的二維分割圖預測監督信號進行學習訓練,輸出三維植株渲染圖像。本發明的方法在遮擋和小目標的復雜場景重建性能表現優異,為復雜果樹場景高效重建提供了新的解決方案。
本發明授權一種融合大語言模型的神經輻射場植株渲染方法及裝置在權利要求書中公布了:1.一種融合大語言模型的神經輻射場植株渲染方法,其特征是,包括以下步驟: 步驟1:通過無人機拍攝裝置采集多視角植株圖像并進行預處理,計算植株圖像的位置參數;采集帶文本提示符的植株圖像集合,利用大語言模型從植株圖像對應的文本提示符中提取語義信息,生成偽標簽; 步驟2:使用大語言模型生成的偽標簽,以多視角植株圖像之間的幾何對應關系與單張植株圖像內部的自監督關系對分割模型進行微調; 步驟3:將植株圖像的位置參數輸入神經輻射場的神經網絡模型預測得到新的圖像參數,再通過體渲染公式進行渲染圖像生成; 步驟4:通過主動學習策略對渲染圖像的圖像參數進行不確定性估計,選擇最能帶來信息增益的新樣本學習,用新捕獲的渲染圖像擴展訓練集; 步驟4中,不確定性估計時,首先建立額外多層感知機輸出分支方差; 通過計算場景中所有采樣點的不確定性減少量,來評估新增視角對模型整體認知的提升效果,并將信息增益多的新視角定義為: ; 其中,為先驗方差,為后驗方差,為第j條光線,為光線上第i個采樣點的深度值,為候選的新數據集,對應新視角下的像素光線,為每條光線上采樣的3D空間點數量,i=1表示從每條光線上的第1個采樣點開始累加信息增益,直到第個采樣點; 獲取信息增益多的新視角后對輻射顏色的先驗均值的后驗更新: ; 其中,表示沿光線進行體積渲染時第k個采樣點的深度值,為處輻射顏色的先驗均值,為貝葉斯更新權重,平衡新觀測值與先驗估計的權重,是從新捕獲的視角圖像中光線對應的真實顏色,為光線r上除外的其他采樣點對渲染顏色的貢獻,為第k個采樣點的體積渲染權重; 引入不確定性估計的損失函數為: ; 其中,為不確定性估計損失,為光線數量,為第j條光線對應的渲染顏色,為第j條光線對應的真實顏色,表示輻射顏色的不確定性方差,表示光線通過體積渲染后渲染顏色的方差,為控制正則化的強度參數,表示光線上第i個采樣點的體密度; 步驟5:加入不確定性估計損失同時給定目標文本提示符,學習給定目標文本提示符的體積概率,根據在三維重建訓練開始時給定的目標文本提示符,為每個輸入視圖上使用分割模型生成目標文本提示符約束下的二維分割圖預測監督信號,使用二元交叉熵損失來優化語義體積概率,并將其與采樣射線上的二維分割圖進行比較,訓練同時通過主動學習加入不確定性估計損失,確定信息增益多的視角,進一步優化三維重建訓練過程,最終生成三維果樹渲染圖像。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人江西農業大學;江西省檢驗檢測認證總院檢測認證技術發展研究院,其通訊地址為:330000 江西省南昌市經濟技術開發區志敏大道1101號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。