買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉北京理工大學申請的專利一種基于掩碼機制的篇章級神經機器翻譯方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115719072B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211331167.7，技術領域涉及：G06F40/58；該發明授權一種基于掩碼機制的篇章級神經機器翻譯方法及系統是由費偉倫;鑒萍;朱曉光設計研發完成，并于2022-10-28向國家知識產權局提交的專利申請。

本一種基于掩碼機制的篇章級神經機器翻譯方法及系統在說明書摘要公布了：本發明公開了一種基于掩碼機制的篇章級神經機器翻譯方法及系統，屬于自然語言處理和語言翻譯技術領域。本方法利用掩碼機制對待翻譯句子中的部分信息進行掩碼，使模型在翻譯句子時，對上下文信息的依賴程度更高。本方法主要針對訓練策略做出改進，采用了二階段訓練過程，更好地使編碼器還原編碼信息，有效提升了篇章級神經機器翻譯的效果。系統部分包括數據處理模塊、源語言編碼器模塊、源語言自編碼解碼器模塊、目標語言解碼器模塊和生成器模塊。對比現有技術，本方法在訓練策略上采取掩碼和自編碼的策略，訓練了一個在編碼時更依賴于上下文的篇章級翻譯模型，充分利用上下文信息，進一步提升了篇章級機器翻譯效果和質量。

本發明授權一種基于掩碼機制的篇章級神經機器翻譯方法及系統在權利要求書中公布了：1.一種基于掩碼機制的篇章級神經機器翻譯方法，其特征在于，包括以下步驟： 步驟1：輸入源語言句子，通過隨機掩碼方式，編碼生成具備上下文的編碼信息EncX； 步驟1.1：待翻譯句子Xcurr中的每個單詞，以概率p被掩碼符號所替換； 步驟1.2：選定待翻譯句子的前文Xprev作為上下文，并將經掩碼處理后的待翻譯句子與上下文進行拼接，得到輸入序列Xinput； 步驟1.3：輸入序列Xinput經過編碼器的嵌入層，被逐詞映射為詞向量，嵌入層輸出由詞向量組成的序列EmbX； 步驟1.4：將序列EmbX送入編碼器中進行編碼，獲得具備上下文的編碼序列EncX； 序列EmbX通過編碼器的多頭自注意力層和線性層進行編碼，將該過程重復N次，最后得到EncX； 步驟2：將經過編碼器得到的編碼序列EncX送入結構與編碼器一致的降噪自編碼解碼器中，得到降噪自編碼輸出序列DecEncEncX； 步驟3：利用編碼器輸出和解碼器輸入，輸出解碼序列DecY； 步驟3.1：根據前文Xprev的長度和待翻譯句子Xcurr的長度，對步驟1.4中具備上下文的編碼表示EncX做切割，獲取上下文編碼序列EncXprev和待翻譯句子的編碼序列EncXcurr； 步驟3.2：選取步驟1.1中待翻譯句子Xcurr所對應的目標語言句子Ytok，送入編碼器的嵌入層，逐詞映射為詞向量，嵌入層輸出由詞向量組成的目標語言序列EmbY； 步驟3.3：利用解碼器對目標語言序列EmbY進行解碼，得到解碼序列DecY； 目標語言序列表示EmbY通過解碼器的自注意力層，利用多頭注意力層和上下文編碼序列EncXprev以及待翻譯句子Xcurr的編碼序列EncXcurr進行融合，再經過解碼器的線性層；該過程重復N次，最終得到解碼序列DecY； 步驟4：將步驟2的降噪自編碼輸出序列DecEncEncX與步驟1.3的拼接序列EmbX作比較，將解碼序列DecY與目標語言參考編碼序列RefY作比較，將差值加權相加，作為模型損失L1； 步驟5：根據模型損失使用梯度下降方法，重復步驟1至步驟4，直至模型收斂，得到翻譯模型M； 步驟6：在步驟5得到的翻譯模型M上，繼續使用現有數據，在不做掩碼的基礎上進行訓練； 步驟6.1：選定待翻譯句子Xcurr的前文Xprev作為上下文，并將待翻譯句子Xcurr與上下文進行拼接，得到輸入序列Xinput'； 步驟6.2：輸入序列Xinput'經過編碼器的嵌入層，被逐詞映射為詞向量，嵌入層輸出由詞向量組成的序列EmbX'； 步驟6.3：將序列EmbX'送進編碼器中，經過編碼獲得具備上下文的編碼序列EncX'； 序列EmbX'通過編碼器的多頭自注意力層和線性層進行編碼，該過程重復N次，最后得到EncX'； 步驟7：與步驟3過程相同，編碼器輸出來自步驟6.3的EncX'，輸出解碼序列DecY'； 步驟8：將步驟7的解碼序列DecY'與目標語言參考編碼序列RefY作比較，將差值作為模型損失L2； 步驟9：根據模型損失L2使用梯度下降方法，重復步驟6至步驟8，直至模型收斂，得到翻譯模型M'； 步驟10：將非訓練集的源語言句子Xt、源語言句子的前文Xt-1，送入翻譯模型M'，得到最終翻譯的譯文。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京理工大學，其通訊地址為：100081 北京市海淀區中關村南大街5號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。