買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉浙江華是科技股份有限公司申請的專利一種基于多模態大模型監督的提示詞優化訓練方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120297423B 。

龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510776516.3，技術領域涉及：G06N5/04；該發明授權一種基于多模態大模型監督的提示詞優化訓練方法及系統是由吳顯德;劉贊;雷明根;盛凱威;何淑燕;楊姍姍設計研發完成，并于2025-06-11向國家知識產權局提交的專利申請。

本一種基于多模態大模型監督的提示詞優化訓練方法及系統在說明書摘要公布了：本發明公開一種基于多模態大模型監督的提示詞優化訓練方法及系統。其中，該方法包括：將多個初始提示詞采用簡單多模態大模型、復雜多模態大模型、第一文本大模型進行篩選和優化，得到簡單最優提示詞、復雜最優提示詞；將簡單最優提示詞、訓練集、人工標定問題輸入到簡單多模態大模型中進行訓練，得到簡單總損失值；判斷簡單總損失值是否在預設閾值范圍內，若是，則結束訓練；反之，重復上述過程的優化，直至簡單總損失值在預設閾值范圍內，停止訓練，將最后一次更新得到的簡單最優提示詞作為目標最優提示詞。該方法通過復雜大模型與簡單大模型的協同訓練，減少人工干預；結合人工標定數據與復雜大模型的推理過程，雙重監督提升提示詞的準確性。

本發明授權一種基于多模態大模型監督的提示詞優化訓練方法及系統在權利要求書中公布了：1.一種基于多模態大模型監督的提示詞優化訓練方法，其特征在于，包括： S1、構建包括人工標定問題、人工分析過程和人工答案的圖片訓練集； S2、將圖片訓練集采用復雜多模態大模型生成多個初始提示詞； S3、將多個初始提示詞采用簡單多模態大模型進行篩選，得到簡單初始提示詞；將多個初始提示詞采用復雜多模態大模型進行篩選，得到復雜初始提示詞； S4、將簡單初始提示詞通過簡單多模態大模型、復雜多模態大模型、第一文本大模型進行優化，得到簡單最優提示詞；將復雜初始提示詞通過簡單多模態大模型、復雜多模態大模型、第一文本大模型進行優化，得到復雜最優提示詞； S5、將簡單最優提示詞、圖片訓練集輸入到簡單多模態大模型中進行訓練，得到簡單總損失值、每張圖片的簡單答案、以及每張圖片的簡單分析過程；判斷簡單總損失值是否在預設閾值范圍內，若是，則結束訓練；反之，將簡單最優提示詞作為簡單初始提示詞，將復雜最優提示詞作為復雜初始提示詞，重復進行S4～S5，直至簡單總損失值在預設閾值范圍內，停止訓練，將最后一次更新得到的簡單最優提示詞作為目標最優提示詞； 所述S2包括： 將圖片訓練集、圖片訓練集中每張圖片的人工標定問題輸入到所述復雜多模態大模型中，得到問題的關鍵詞； 依據關鍵詞聯網檢索獲得參考提示詞模板； 將參考提示詞模板、所有圖片的人工標定問題輸入到所述復雜多模態大模型中，得到多個初始提示詞； 所述將多個初始提示詞采用簡單多模態大模型進行篩選，得到簡單初始提示詞包括： 依次將每個初始提示詞作為當前初始提示詞； 將當前初始提示詞、圖片訓練集輸入到簡單多模態大模型中進行訓練，得到每張圖片的簡單推理答案、以及簡單推理分析過程； 根據每張圖片的人工分析過程和簡單推理分析過程計算得到每張圖片的簡單分析過程相似度損失值； 根據每張圖片的簡單分析過程相似度損失值、每張圖片的簡單推理答案、每張圖片的人工答案計算得到當前初始提示詞對應的得分； 將最高得分對應的初始提示詞作為簡單初始提示詞； 所述將多個初始提示詞采用復雜多模態大模型進行篩選，得到復雜初始提示詞包括： 依次將每個初始提示詞作為當前初始提示詞； 將當前初始提示詞、圖片訓練集輸入到復雜多模態大模型中進行訓練，得到每張圖片的復雜推理答案、以及復雜推理分析過程； 根據每張圖片的人工分析過程和復雜推理分析過程計算得到每張圖片的復雜分析過程相似度損失值； 根據每張圖片的復雜分析過程相似度損失值、每張圖片的復雜推理答案、每張圖片的人工答案計算得到當前初始提示詞對應的得分； 將最高得分對應的初始提示詞作為復雜初始提示詞； 所述將簡單初始提示詞通過簡單多模態大模型、復雜多模態大模型、第一文本大模型進行優化，得到簡單最優提示詞包括： 將簡單初始提示詞、圖片訓練集、人工標定問題輸入到簡單多模態大模型中進行模型訓練，得到每張圖片的簡單推理答案、簡單分析過程以及簡單分析過程相似度損失值；將復雜初始提示詞、圖片訓練集、人工標定問題輸入到復雜多模態大模型中進行模型訓練，得到每張圖片的復雜推理答案、復雜分析過程以及復雜分析過程相似度損失值； 根據每張圖片的簡單推理答案、簡單分析過程以及簡單分析過程相似度損失值，每張圖片的復雜推理答案、復雜分析過程以及復雜分析過程相似度損失值，將簡單初始提示詞通過第一文本大模型進行訓練，得到第一簡單正確提示詞、第二簡單正確提示詞、第一簡單錯誤提示詞、第二簡單錯誤提示詞； 將第一簡單正確提示詞、第二簡單正確提示詞、第一簡單錯誤提示詞、第二簡單錯誤提示詞輸入到第一文本大模型中進行訓練，得到簡單共同提示詞； 將第一簡單正確提示詞、第二簡單正確提示詞、第一簡單錯誤提示詞、第二簡單錯誤提示詞、簡單共同提示詞、圖片訓練集輸入到簡單多模態大模型中，得到每張圖片通過每個提示詞推理得到的答案、以及分析過程；根據每張圖片通過每個提示詞推理得到的答案、以及分析過程，將簡單共同提示詞采用第一文本大模型進行優化，得到簡單最優提示詞； 所述簡單總損失值根據以下公式計算： 其中，loss為簡單總損失值，N訓練集為圖片訓練集的圖片數量，為第i張圖片的簡單分析過程相似度損失值，為第i張圖片的簡單答案與人工答案是否一樣，一樣為1，不一樣為0。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江華是科技股份有限公司，其通訊地址為：311122 浙江省杭州市余杭區閑林街道嘉企路16號3幢1樓；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。