買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉馬上消費金融股份有限公司申請的專利語言模型的預訓練方法、文本處理方法及相關設備獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116304081B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310015158.5，技術領域涉及：G06F16/36；該發明授權語言模型的預訓練方法、文本處理方法及相關設備是由白安琪;蔣寧;夏粉;吳海英;肖冰設計研發完成，并于2023-01-04向國家知識產權局提交的專利申請。

本語言模型的預訓練方法、文本處理方法及相關設備在說明書摘要公布了：本申請公開了一種模型的訓練方法、文本處理方法及相關設備。所述方法包括：獲取樣本文本序列及其對應的關系標簽，樣本文本序列由第一語言文本和第二語言文本拼接而成，關系標簽表示第二語言文本是否由第一語言文本翻譯而成；對樣本文本序列中目標詞語進行掩碼得到掩碼文本序列，目標詞語包括第一語言文本的第一詞語和第二語言文本的第二詞語，第一詞語與第二詞語詞性相同；通過語言模型對掩碼文本序列進行編碼得到掩碼表示向量；通過關系預測模型基于掩碼表示向量預測目標詞語對應的詞語及第一語言文本與第二語言文本之間的關系；基于目標詞語及其對應的預測詞語、第一語言文本與第二語言文本之間的預測關系及關系標簽，調整語言模型的模型參數。

本發明授權語言模型的預訓練方法、文本處理方法及相關設備在權利要求書中公布了：1.一種語言模型的預訓練方法，其特征在于，包括： 獲取樣本文本序列以及所述樣本文本序列對應的關系標簽，所述樣本文本序列由第一語言文本和第二語言文本拼接而成，所述關系標簽用于表示所述樣本文本序列中的第二語言文本是否由第一語言文本翻譯而成； 對所述樣本文本序列中的目標詞語進行掩碼處理，得到掩碼文本序列，所述目標詞語包括所述第一語言文本中的第一詞語和所述第二語言文本中的第二詞語，所述第一詞語與所述第二詞語具有相同的詞性； 通過語言模型對所述掩碼文本序列進行編碼處理，得到所述掩碼文本序列的掩碼表示向量； 通過關系預測模型基于所述掩碼表示向量，預測所述目標詞語對應的預測詞語以及所述第一語言文本與所述第二語言文本之間的預測關系； 基于所述目標詞語及其對應的預測詞語、所述第一語言文本與所述第二語言文本之間的預測關系以及所述關系標簽，調整所述語言模型的模型參數，以得到預訓練語言模型。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人馬上消費金融股份有限公司，其通訊地址為：401121 重慶市渝北區黃山大道中段52號渝興廣場B2棟4至8樓；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。