買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉廈門大學申請的專利結合預訓練語言模型的跨模態非自回歸解碼方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119962548B 。

龍圖騰網通過國家知識產權局官網在2025-09-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510093157.1，技術領域涉及：G06F40/58；該發明授權結合預訓練語言模型的跨模態非自回歸解碼方法及系統是由陳毅東;余培;史曉東設計研發完成，并于2025-01-21向國家知識產權局提交的專利申請。

本結合預訓練語言模型的跨模態非自回歸解碼方法及系統在說明書摘要公布了：結合預訓練語言模型的跨模態非自回歸解碼方法及系統，涉及跨模態翻譯。解碼系統依次包括目標排列采樣、預訓練文本編碼、預訓練文本解碼、預訓練損失計算、源端特征提取、下游編碼、CTC增強、下游解碼、下游任務損失計算、輸出等模塊。解碼方法：采樣預訓練訓練樣本以及目標排列；將源端文本編碼為隱向量；目標端文本解碼；預訓練階段損失計算；初始化下游跨模態非自回歸翻譯模型的參數；源端特征提取；源端特征編碼；下游解碼模塊輸入生成；解碼模塊生成翻譯結果；計算下游跨模態非自回歸翻譯模型損失；下游跨模態非自回歸翻譯結果輸出。利用RandomDrop以及CTC，緩解預訓練和微調階段解碼器輸入的模態差異。

本發明授權結合預訓練語言模型的跨模態非自回歸解碼方法及系統在權利要求書中公布了：1.結合預訓練語言模型的跨模態非自回歸解碼方法，其特征在于包括以下步驟： 1）采樣預訓練訓練樣本以及目標排列：從用于預訓練的語料中采樣一條數據對，并采樣目標句子的一種排列，其中，中每一個元素使用的是目標詞匯在目標序列中的下標； 2）將源端文本編碼為隱向量：使用預訓練模型的文本編碼模塊將源端文本編碼為隱向量； 3）目標端文本解碼：通過拷貝機制將預訓練源端文本的詞嵌入轉換為非自回歸解碼器的輸入，并將其輸入到文本解碼模塊中；在接受到預訓練文本編碼模塊的輸出的向量后，文本解碼模塊通過編碼模塊的特征向量生成翻譯結果； 4）預訓練階段損失計算：使用交叉熵損失計算每一層解碼器的翻譯損失，并將所有層的損失相加得到總損失； 5）初始化下游跨模態非自回歸翻譯模型的參數： 訓練完畢預訓練語言模型后，即可利用其參數初始化下游跨模態非自回歸翻譯模型的編碼器和解碼器的參數； 6）源端特征提取：在特征提取模塊將源端數據每一幀進行特征提取，得到包含源端信息的特征序列； 7）源端特征編碼：將步驟6）提取到的源端特征向量送至下游編碼模塊得到隱藏表示； 8）下游解碼模塊輸入生成：結合CTC層的預測概率和目標端詞嵌入層的權重矩陣，通過位置編碼和可學習權重計算注意力得分矩陣，并用其生成解碼模塊的輸入，以融合目標端上下文信息； 9）解碼模塊生成翻譯結果：下游解碼模塊通過同時獲取解碼模塊的輸入以及編碼模塊輸出的特征向量去生成翻譯結果； 10）計算下游跨模態非自回歸翻譯模型損失：在下游損失計算模塊，使用CTC損失函數計算下游編碼模塊的損失，使用交叉熵損失函數計算下游解碼模塊中生成單詞的翻譯損失； 11）下游跨模態非自回歸翻譯結果輸出：通過輸出模塊輸出經過下游跨模態非自回歸翻譯模型得到的口語句子。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人廈門大學，其通訊地址為：361005 福建省廈門市思明南路422號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。