買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉中國科學院自動化研究所申請的專利增強多模態大模型的細粒度感知能力的方法、基于多模態大模型的圖像處理方法及裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120318606B 。

龍圖騰網通過國家知識產權局官網在2025-09-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510804247.7，技術領域涉及：G06V10/764；該發明授權增強多模態大模型的細粒度感知能力的方法、基于多模態大模型的圖像處理方法及裝置是由朱貴波;倪佳輝;王金橋設計研發完成，并于2025-06-16向國家知識產權局提交的專利申請。

本增強多模態大模型的細粒度感知能力的方法、基于多模態大模型的圖像處理方法及裝置在說明書摘要公布了：公開了一種增強多模態大模型的細粒度感知能力的方法、基于多模態大模型的圖像處理方法及裝置，所述方法包括：獲取目標檢測數據集和圖文對數據集；對于兩個數據集中每個圖像，將當前圖像輸入視覺編碼器得到第一視覺特征；將第一視覺特征輸入增強編碼模塊得到第二視覺特征；若當前圖像屬于目標檢測數據集，基于第二視覺特征對當前圖像進行目標檢測處理得到預測結果；基于預測結果和第一真實標簽確定的檢測損失，調整視覺編碼器和增強編碼模塊中參數；若當前圖像屬于圖文對數據集，將第二視覺特征和文本問題輸入大語言模型得到預估答案；基于預估答案和第二真實標簽確定的第一生成損失，調整視覺編碼器、增強編碼模塊和大語言模型的參數。

本發明授權增強多模態大模型的細粒度感知能力的方法、基于多模態大模型的圖像處理方法及裝置在權利要求書中公布了：1.一種增強多模態大模型的細粒度感知能力的方法，其特征在于，所述多模態大模型包括視覺編碼器、增強編碼模塊和大語言模型，所述方法包括： 獲取目標檢測數據集和圖文對數據集，其中，所述目標檢測數據集包括多個第一圖像和每個第一圖像的第一真實標簽，所述圖文對數據集包括多個圖文對和每個圖文對的第二真實標簽，所述第一真實標簽包括相應第一圖像所包含的對象的真實類別和真實位置信息，所述第二真實標簽包括相應圖文對中的文本問題的真實答案； 對于所述目標檢測數據集和所述圖文對數據集中的每個圖像，執行如下處理： 將當前圖像輸入所述視覺編碼器，得到第一視覺特征； 將所述第一視覺特征輸入所述增強編碼模塊，得到第二視覺特征； 響應于所述當前圖像屬于所述目標檢測數據集，基于所述第二視覺特征對所述當前圖像進行目標檢測處理，得到所述當前圖像對應的預測結果；基于所述預測結果和所述當前圖像的第一真實標簽確定的檢測損失，調整所述視覺編碼器和所述增強編碼模塊的參數； 響應于所述當前圖像屬于所述圖文對數據集，將所述第二視覺特征和所述當前圖像所在圖文對中的文本問題輸入大語言模型，得到所述文本問題的預估答案；基于所述預估答案和所述當前圖像所在圖文對的第二真實標簽確定的第一生成損失，調整所述視覺編碼器、所述增強編碼模塊和所述大語言模型的參數； 其中，在所述目標檢測數據集還包括所述當前圖像對應的文本問題和所述第一真實標簽還包括所述文本問題的真實答案的情況下，在基于所述預測結果和所述當前圖像的第一真實標簽確定的檢測損失，調整所述視覺編碼器和所述增強編碼模塊的參數之前，還包括： 將所述第二視覺特征和所述當前圖像對應的文本問題輸入大語言模型，得到所述當前圖像對應的文本問題的預估答案；基于所述預估答案和所述當前圖像對應的文本問題的真實答案確定第二生成損失； 其中，基于所述預測結果和所述當前圖像的第一真實標簽確定的檢測損失，調整所述視覺編碼器和所述增強編碼模塊的參數，包括： 基于所述檢測損失和所述第二生成損失，調整所述視覺編碼器、所述增強編碼模塊和所述大語言模型的參數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國科學院自動化研究所，其通訊地址為：100190 北京市海淀區中關村東路95號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。