買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉沈陽雅譯網絡技術有限公司申請的專利一種基于預訓練的多模態機器翻譯方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114742075B 。

龍圖騰網通過國家知識產權局官網在2025-09-19發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210347414.6，技術領域涉及：G06F40/58；該發明授權一種基于預訓練的多模態機器翻譯方法是由劉興宇;張秋林設計研發完成，并于2022-04-01向國家知識產權局提交的專利申請。

本一種基于預訓練的多模態機器翻譯方法在說明書摘要公布了：本發明提供一種基于預訓練的多模態機器翻譯方法，步驟為：處理多模態機器翻譯數據集Multi30k，包含文本描述和圖像兩部分輸入；構建VisionTransformer模型，處理圖片輸入，得到圖片編碼表示；繼承Huggingface的預訓練參數，構建基于Transformer結構的mBart模型；mBart模型的文本編碼模塊處理文本輸入，得到文本編碼表示；設計提示模板，連接圖片編碼表示和文本編碼表示，送入mBart模型的編碼器模塊；固定mBart模型的預訓練參數，將KL散度引入損失函數計算，進行模型的微調。本發明通過繼承大規模文本預訓練模型的參數，微調圖像編碼表示模塊，有效地將大規模文本預訓練知識應用到多模態機器翻譯，提升多模態機器翻譯的性能，為后續其他多模態任務的研究提供思路。

本發明授權一種基于預訓練的多模態機器翻譯方法在權利要求書中公布了：1.一種基于預訓練的多模態機器翻譯方法，其特征包括以下步驟： 1處理多模態機器翻譯數據集，包含文本描述和對應圖片兩部分輸入數據； 2構建VisionTransformer模型，處理圖片輸入數據，得到圖片編碼表示； 3利用現有的預訓練模型參數，用于構建基于Transformer結構的預訓練模型，文本輸入數據經過預訓練模型的編碼層，得到文本編碼表示； 4設計提示模板，連接圖片編碼表示和文本編碼表示，送入預訓練模型的編碼器模塊； 5固定預訓練模型的預訓練參數，將KL散度引入損失函數計算，進行模型的微調，將微調后得到的模型輸入圖片和文本，實現多模態機器翻譯； 步驟4中，設計提示模板，連接圖片編碼表示和文本編碼表示，送入mBart模型的編碼器模塊，具體為： 401設計提示模板，將圖片編碼表示為X，源語言文本編碼表示為Y，目標語言文本編碼表示為Z，提示模板表示為“[提示1]”、“[提示2]”、“[提示3]”，連接得到編碼器輸入編碼表示“[提示1]:X[提示2]:Y”； 402使用預訓練模型的位置編碼模塊編碼文本部分得到文本位置編碼，將圖像部分每一維視作相同位置進行編碼，得到圖片位置編碼；將文本位置編碼和圖片位置編碼連接后，與輸入編碼表示相加，送入預訓練模型的編碼器模塊，進行圖像文本的聯合表示學習； 403連接提示模板和目標語言文本編碼得到解碼器輸入編碼表示“[提示3]:Z”，送入預訓練模型的解碼器模塊，進行目標語的自回歸生成。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人沈陽雅譯網絡技術有限公司，其通訊地址為：110004 遼寧省沈陽市和平區三好街78號東軟電腦城C座11層；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。