買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉暨南大學申請的專利一種基于動態數據評估的大語言模型能力評估方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119988914B 。

龍圖騰網通過國家知識產權局官網在2025-09-16發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510481116.X，技術領域涉及：G06F18/21；該發明授權一種基于動態數據評估的大語言模型能力評估方法及系統是由劉子韜;楊帆;池金瑋設計研發完成，并于2025-04-17向國家知識產權局提交的專利申請。

本一種基于動態數據評估的大語言模型能力評估方法及系統在說明書摘要公布了：本發明涉及機器學習技術領域，特別是涉及一種基于動態數據評估的大語言模型能力評估方法及系統，方法包括：獲取用戶輸入的題目，并從所述題目中提取核心知識點和主旨內容；基于所述核心知識點和主旨內容，利用預訓練的大語言模型進行聯網檢索，生成與所述題目相關的知識詳述；基于所述核心知識點、主旨內容和知識詳述，生成評估題目；對所述評估題目進行難度調控和優化，獲取最終評估題目；對所述最終評估題目進行多維度能力評估和質量檢測，獲取評估結果，完成大語言模型的能力評估。本發明能夠確保評估數據的質量和一致性，提升LLMs能力評估的可靠性與公平性。

本發明授權一種基于動態數據評估的大語言模型能力評估方法及系統在權利要求書中公布了：1.一種基于動態數據評估的大語言模型能力評估方法，其特征在于，包括： 獲取用戶輸入的題目，通過自然語言處理技術對所述題目進行解析，并利用few-shot學習技術根據解析信息提取核心知識點和主旨內容； 基于所述核心知識點和主旨內容進行聯網檢索，獲取相關背景信息，其中，所述相關背景信息包括最新資料、研究成果、定義、案例； 將所述核心知識點、主旨內容輸入預訓練的大語言模型，輸出知識闡述，其中，所述知識闡述包括詳細解釋、示例和案例、領域擴展； 將所述相關背景信息和知識闡述進行整合，獲取知識詳述； 整合所述核心知識點、主旨內容和知識詳述，獲取整合信息； 基于所述整合信息，根據題目類型和評估目標生成初步題目框架； 對所述初步題目框架進行復雜度調整和重復性檢測，根據布魯姆分類法的六個認知層次生成對應的多維度問題，包括記憶、理解、應用、分析、評價和創造六個維度的問題； 對多層次題目框架進行質量檢測，獲取評估題目； 對所述評估題目進行復雜度評估，基于評估結果進行復雜度調控，計算生成數據集與原始數據集的準確率差異作為偏移量，通過偏移量量化生成題目與原始題目之間的難度差距，并根據難度差距調整生成題目的內容； 利用多個大語言模型對調控后的評估題目進行驗證和反饋，并通過反饋結果對調控后的評估題目進行優化，獲取最終評估題目，其中，進行所述驗證和反饋包括： 多模型預測：將生成的題目輸入多個預設的LLMs模型，并通過模型對題目的難度進行預測，根據模型的反饋結果進一步優化題目的難度，使題目符合預定要求； 反饋調整：根據多模型的反饋，對題目的復雜度進行微調； 獲取所述最終評估題目還包括：對所述評估題目進行難度評估，并根據評估結果對所述評估題目進行排序，獲取難度分布情況； 基于所述難度分布情況判斷難度跨度，若所述難度跨度超出預設難度跨度，對所述評估題目的難度進行平滑處理，獲取難度分布均衡的評估題目； 采用布魯姆認知分層，基于所述最終評估題目生成不同認知層次的分類題目，包括記憶、理解、應用、分析、評價、創造，從多維度上評估大語言模型在包含分類題目的不同認知層次上的表現，獲取多維度評估結果； 采用若干大語言模型分別對每個最終評估題目進行質量檢測、準確性檢測、邏輯合理性檢測、一致性與多樣性檢測，獲取檢測結果； 結合所述多維度評估結果和檢測結果完成大語言模型的能力評估。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人暨南大學，其通訊地址為：510632 廣東省廣州市天河區黃埔大道西601號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。