買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉暨南大學申請的專利一種基于多模態的題目知識點標注方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120354370B 。

龍圖騰網通過國家知識產權局官網在2025-09-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510838812.1，技術領域涉及：G06F18/25；該發明授權一種基于多模態的題目知識點標注方法及系統是由楊志偉;王垅濤;林惠茹;羅偉其;官全龍設計研發完成，并于2025-06-23向國家知識產權局提交的專利申請。

本一種基于多模態的題目知識點標注方法及系統在說明書摘要公布了：本發明公開了一種基于多模態的題目知識點標注方法及系統，包括：獲取教育領域的原始數據，其中，所述原始數據來自于物理實體；對所述原始數據進行清洗和增強處理，得到增強后的訓練數據；基于增強后的訓練數據，通過構建差異化數據建立多樣化的模型偏好，并利用協同注意力機制和門控機制融合文本和視覺特征進行推理，得到多模態推理結果；根據所述多模態推理結果，進行集成預測，得到題目知識點標簽。本發明通過構建差異化數據來建立多樣化的模型偏好，引入的共同注意機制和門控機制，增強跨模態信息的交互，使模型能夠更有效地融合文本和視覺特征，提高了知識點標注的準確性和適用性。

本發明授權一種基于多模態的題目知識點標注方法及系統在權利要求書中公布了：1.一種基于多模態的題目知識點標注方法，其特征在于，包括以下步驟： 獲取教育領域的原始數據，其中，所述原始數據來自于物理實體； 對所述原始數據進行清洗和增強處理，得到增強后的訓練數據； 基于增強后的訓練數據，通過不同的隨機種子去切分訓練集與驗證集，構建差異化數據，并使用多種模型，構建差異化模型，以此建立多樣化的模型偏好，并利用協同注意力機制和門控機制融合文本和視覺特征進行推理，得到多模態推理結果； 得到多模態推理結果的步驟包括： 使用預訓練的文本模型和視覺模型分別提取文本特征和視覺特征，并通過協同注意力機制進行融合，得到融合后的特征； 將融合后的特征輸入門控機制進行調節，得到門控融合特征； 根據門控融合特征進行推理，得到多模態推理結果； 提取文本特征的步驟包括： 對文本數據分別使用BERT、RoBERTa、XLNet派生模型進行特征提取，得到不同模型的文本特征； 將不同模型的文本特征輸入線性層進行推理，得到基于文本的推理logits； 得到融合后的特征的步驟包括： 使用預訓練的RoBERTa模型提取文本特征； 使用預訓練的ViT-16模型提取視覺特征，并進行零填充以匹配維度； 將文本特征和視覺特征投影到相同的維度空間，并通過協同注意力機制計算跨模態的相互關系，得到融合后的特征； 通過協同注意力機制計算跨模態的相互關系，得到融合后的特征的步驟包括： 將文本特征作為查詢向量，視覺特征作為鍵向量和值向量，通過注意力函數計算跨模態的注意力權重； 根據所述注意力權重對文本特征和視覺特征進行加權融合，得到基于注意力的融合特征； 采用跳躍連接將基于注意力的融合特征與原始特征進行拼接，得到增強的融合特征； 得到門控融合特征的步驟包括： 計算融合后的文本特征和視覺特征對門控分數的貢獻； 根據門控分數對融合后的文本特征和視覺特征進行加權融合，得到門控融合特征； 根據所述多模態推理結果，進行集成預測，得到題目知識點標簽。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人暨南大學，其通訊地址為：510632 廣東省廣州市天河區黃埔大道西601號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。