中國科學技術大學;中國電子科技集團有限公司電子科學研究院陳可江獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉中國科學技術大學;中國電子科技集團有限公司電子科學研究院申請的專利一種抵御大語言模型濫用分析的文本保護方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119337229B 。
龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411222749.0,技術領域涉及:G06F18/2415;該發明授權一種抵御大語言模型濫用分析的文本保護方法是由陳可江;張衛明;俞能海;趙嘉煒;郭慶浪設計研發完成,并于2024-09-02向國家知識產權局提交的專利申請。
本一種抵御大語言模型濫用分析的文本保護方法在說明書摘要公布了:本發明公開了一種抵御大語言模型濫用分析的文本保護方法,首先將大語言模型的輸出終止條件“endtoken”的負對數概率作為損失函數,進行反向傳播以獲取梯度;利用所獲取的梯度,為受保護文本中的每個token構建替換集合;通過替換集合構建擾動文本,并將構建的擾動文本輸入到大語言模型中,選擇結果最佳的擾動文本作為下一輪的起始點,使大語言模型在分析受保護文本時輸出結束符,實現文本保護。上述方法利用對抗樣本技術對用戶上傳的互聯網文本提供了面向大語言模型的保護,兼顧了有效性以及隱蔽性。
本發明授權一種抵御大語言模型濫用分析的文本保護方法在權利要求書中公布了:1.一種抵御大語言模型濫用分析的文本保護方法,其特征在于,所述方法包括: 步驟1、將大語言模型的輸出終止條件“endtoken”的負對數概率作為損失函數,進行反向傳播以獲取梯度; 步驟2、利用步驟1所獲取的梯度,為受保護文本中的每個token構建替換集合; 在步驟2中,使用一個one-hot向量表示受保護文本,定義損失函數并計算one-hot向量的梯度; 使用計算得到的one-hot向量的梯度構建替換集合 然后利用貪心搜索來確定最小化損失函數的最優替換; 所述步驟2的過程具體為: 給定受保護文本,記為將組成的每個token表示為將表示為一個one-hot向量則: 然后定義損失函數將損失函數定義為大語言模型預測的首個token的概率分布與終止條件endtoken對應概率為1的概率分布之間的交叉熵;具體來說,利用大語言模型logits層的輸出g和終止條件endtoken的one-hot向量vend進行計算,即: 其中,H指交叉熵計算函數; 再計算與對應的one-hot向量的梯度hi: 梯度hi的每個維度對應于大語言模型詞匯表V的一個token,記為hi[j],其中j∈{1,2,...,V};tokenj指詞匯表中的第j個token; 為了找到語義上相近的token,利用Embedding向量來找到在Embedding層中“距離”近的token,Embedding向量指經過Embedding層映射后的token向量;具體來說,首先將大語言模型詞典V中的所有token表示為Embedding向量,并使用l2范數對其進行歸一化,得到一個新的集合V′,對于進行相同的操作,指輸入promptP的第i個token;然后與新的集合V′中的所有向量進行點積運算,并選擇結果最大的n個token作為語義相近token的集合Ni; 為了確保替換后的token與被保護文本保持相似性,同時使損失函數減小,從集合Ni中根據梯度hi選擇最終的替換集合,具體來說: 對于tokenj∈Ni,按照hi[j]的值按降序對它們進行排序;選擇前k個token作為最終的替換集合Si,記為Si=Top-kNi; 步驟3、通過替換集合構建擾動文本,并將構建的擾動文本輸入到大語言模型中,選擇結果最佳的擾動文本作為下一輪的起始點,使大語言模型在分析受保護文本時輸出結束符,實現文本保護。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國科學技術大學;中國電子科技集團有限公司電子科學研究院,其通訊地址為:230026 安徽省合肥市包河區金寨路96號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。