買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉湖南昆侖元人工智能應用軟件有限公司申請的專利基于可訓練殘差連接與雙尺度卷積Transformer的大語言模型的訓練方法、裝置、計算機設備及可讀存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119940416B 。

龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411849409.0，技術領域涉及：G06N3/0455；該發明授權基于可訓練殘差連接與雙尺度卷積Transformer的大語言模型的訓練方法、裝置、計算機設備及可讀存儲介質是由劉杰雄;李誠設計研發完成，并于2024-12-16向國家知識產權局提交的專利申請。

本基于可訓練殘差連接與雙尺度卷積Transformer的大語言模型的訓練方法、裝置、計算機設備及可讀存儲介質在說明書摘要公布了：本發明公開了一種基于可訓練殘差連接與雙尺度卷積Transformer的大語言模型的訓練方法、裝置、計算機設備及可讀存儲介質，包括：首先獲取基于多層Transformer架構的基礎模型，其各層含自注意力與前饋網絡且嵌入雙尺度卷積模塊，輸出融合后作為該層輸出，各層輸入輸出間配置可訓練權重矩陣調整殘差連接強度。獲取預處理樣本文檔構建訓練集，基于此對基礎模型訓練至預設條件，得到融合可訓練殘差連接與雙尺度卷積的大語言模型，可提升模型性能與泛化能力。

本發明授權基于可訓練殘差連接與雙尺度卷積Transformer的大語言模型的訓練方法、裝置、計算機設備及可讀存儲介質在權利要求書中公布了：1.一種基于可訓練殘差連接與雙尺度卷積Transformer的大語言模型的訓練方法，其特征在于，包括： 獲取基于多層Transformer架構的基礎模型，其中，所述基礎模型包括多個級聯的Transformer解碼器層，每個所述Transformer解碼器層包含自注意力機制和前饋神經網絡，每個所述Transformer解碼器層嵌入雙尺度卷積模塊，不同尺度的所述雙尺度卷積模塊用于捕捉不同的局部特征，所述雙尺度卷積模塊各自輸出進行融合后作為對應Transformer解碼器層的輸出，各個所述Transformer解碼器層的輸入和輸出之間配置可訓練的權重矩陣，所述可訓練的權重矩陣用于調整各個所述Transformer解碼器層的之間殘差連接的強度； 獲取經過預處理的樣本文檔數據構建訓練集； 將所述訓練集包括的文本數據通過分詞器轉換為多個數字序列；所述數字序列包括的數字為所述文本數據在詞典中的索引編號； 將所述多個數字序列通過embedding得到高維度的多個高維向量； 根據所述多個高維向進行推理運算，對每層Transformer架構對應的所述高維向量進行歸一化操作，并通過線性層對歸一化得到的原始特征進行處理； 將處理后的原始特征在時間軸上進行分塊操作，得到第一特征；所述分塊操作采用50%的重疊因子； 采用可訓練殘差連接結構并添加卷積模塊的多尺度Transformer采用幀內Transformer和幀間Transformer分別學習所述第一特征的短期和長期依賴關系得到第二特征，所述幀內Transformer和所述幀間Transformer結構相同； 通過多尺度Transformer產生的所述第二特征經過PReLU激活函數和線性層得到第三特征； 對所述第三特征進行重疊相加操作得到第四特征；所述重疊相加操作的重疊率為0.5； 將所述第四特征通過ReLU激活函數和前饋網絡層進行處理，使用非線性變換提取和學習每個token詞匯的特征表示； 在達到最后一層Transformer架構時，通過SoftMax函數來獲得所有數字序列的采樣概率，并根據預設采樣算法進行采樣得到下一個數字序列； 重復執行所述對每層Transformer架構對應的所述高維向量進行歸一化操作，并通過線性層對歸一化得到的原始特征進行處理的步驟，至所述將所述第四特征通過ReLU激活函數和前饋網絡層進行處理，使用非線性變換提取和學習每個token詞匯的特征表示的步驟，直至達到預設循環次數后，生成索引序列； 利用所述分詞器結合所述索引序列進行文字還原，得到目標自然語言，以完成所述基于多層Transformer架構的基礎模型學習語言的統計特性和上下文關系的預訓練； 對預訓練后的基于多層Transformer架構的基礎模型按照預設下游任務進行監督微調； 對監督微調后的基于多層Transformer架構的基礎模型結合獎勵模型通過預設策略優化算法進行強化學習，直到達到預設訓練終止條件時，得到訓練完成的融合可訓練殘差連接與雙尺度卷積Transformer的大語言模型。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人湖南昆侖元人工智能應用軟件有限公司，其通訊地址為：410000 湖南省長沙市岳麓區岳麓街道后湖藝術園D區02棟02號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。