國網江蘇省電力有限公司營銷服務中心;國網江蘇省電力有限公司江明獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉國網江蘇省電力有限公司營銷服務中心;國網江蘇省電力有限公司申請的專利一種半自動實體標注監督方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN113988064B 。
龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202111399124.8,技術領域涉及:G06F40/279;該發明授權一種半自動實體標注監督方法是由江明;單超;鄒云峰;黃茜;朱峰;劉云鵬;蔡明明設計研發完成,并于2021-11-19向國家知識產權局提交的專利申請。
本一種半自動實體標注監督方法在說明書摘要公布了:一種半自動實體標注監督方法及系統,方法包括以下步驟:步驟1,對第一設定數量的小樣本進行標注;步驟2,訓練標注模型;若標注模型質量滿足要求,執行步驟4,若標注模型質量需要提升,執行步驟3;步驟3,迭代執行自動標注、標注質量監督、校對、更新訓練集和訓練模型,直至迭代次數達到最大迭代次數;若迭代結果標注模型的F1值不小于第一閾值,則執行步驟4;若迭代結果標注模型的F1值仍小于第一閾值,調整標簽及標注規范并返回步驟1;步驟4,對剩余未標注的樣本進行標注,并對標注進行監督,包括標注模型的質量監督和對標注人員的監督;步驟5,分析人工與標注的標注結果是否一致,如果不一致,整理分析所屬類別。
本發明授權一種半自動實體標注監督方法在權利要求書中公布了:1.一種半自動實體標注監督方法,用于電力營銷系統,其特征在于,包括以下步驟: 步驟1,標注分為兩個部分,待標注句子和標注標簽,實體標注工作開始時,對第一設定數量的小樣本進行人工標注; 步驟2,以步驟1的標注結果作為訓練集,訓練標注模型;訓練結束后,對標注模型的質量進行監督;如果標注模型的F1值不小于第一閾值,直接對文本進行自動標注,執行步驟4;如果F1值小于第一閾值并且大于第二閾值,執行步驟3;如果F1值不大于第二閾值,初步判斷步驟1中小樣本數量較少,需要增加樣本重新進行訓練,返回步驟1增加標注的樣本數量; 步驟3,迭代執行自動標注、標注質量監督、校對、更新訓練集和訓練模型,直至迭代次數達到最大迭代次數,包括: 步驟3.1,使用標注模型自動標注第二設定數量的樣本,形成標注結果; 步驟3.2,對步驟3.1的標注結果實施標注質量監督和校對,獲得校對結果; 步驟3.3,判斷是否達到最大迭代次數,若未達到最大迭代次數,繼續執行步驟3.4,若已經達到最大迭代次數,結束迭代,執行步驟3.6; 步驟3.4,更新訓練集,聯合步驟1中的小樣本標注結果和步驟3.2中獲得的校對結果作為新的訓練集; 步驟3.5,使用更新后的訓練集訓練標注模型,并且返回步驟3.1開始新一次的迭代; 步驟3.6,比較當前標注模型的F1值和第一閾值,如果當前標注模型的F1值不小于第一閾值,繼續執行步驟4;如果當前標注模型的F1值仍小于第一閾值,調整標簽及規范后,返回步驟1; 步驟4,對剩余未標注的樣本進行標注,并對標注進行監督,包括標注模型的質量監督和對標注人員的監督;對標注模型算法的監督包括:訓練測試集的F1值或通過對自動標注的文本進行人工校對來對模型進行監督; 步驟5,分析人工與標注的標注結果是否一致,如果不一致,整理分析所屬類別;分析人工與標注的標注結果不一致,整理分析所屬類別,包括:模型學習錯誤,標注人員標注錯誤,不在標注規范的問題。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人國網江蘇省電力有限公司營銷服務中心;國網江蘇省電力有限公司,其通訊地址為:210019 江蘇省南京市建鄴區奧體大街9號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。