買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉昆明理工大學申請的專利一種融合圖像信息的越漢跨語言新聞文本摘要方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN117218503B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202311170803.7，技術領域涉及：G06V10/80；該發明授權一種融合圖像信息的越漢跨語言新聞文本摘要方法是由余正濤;吳奇遠;譚凱文;黃于欣設計研發完成，并于2023-09-12向國家知識產權局提交的專利申請。

本一種融合圖像信息的越漢跨語言新聞文本摘要方法在說明書摘要公布了：本發明涉及一種融合圖像信息的越漢跨語言新聞文本摘要方法，屬于自然語言處理技術領域。本發明首先構建越漢多模態跨語言摘要數據集；其次利用文本編碼器和圖像編碼器對越南語新聞文本和圖像進行表征，再利用圖文對比損失增強圖像和文本表征的一致性，迫使越南語的表征空間趨近于與語言無關的圖像表征空間，然后利用圖文融合器進行圖像和文本的有效融合，增強新聞文本的關鍵信息提取能力，最后利用摘要解碼器生成中文摘要。本發明在一個較大規模的越漢跨語言新聞摘要數據集進行實驗表明生成的摘要具備更高的ROUGE分數、信息量、簡潔度和流暢度。

本發明授權一種融合圖像信息的越漢跨語言新聞文本摘要方法在權利要求書中公布了：1.一種融合圖像信息的越漢跨語言新聞文本摘要方法，其特征在于：所述方法的具體步驟如下： Step1、從互聯網多個新聞網站上爬取越南語新聞文本及其對應新聞圖像，并對其進行處理，構建越漢多模態跨語言摘要數據集； Step2、文本編碼器負責將輸入的越南語新聞文本轉化為語義表征，捕捉關鍵信息和語義關聯； Step3、圖像編碼器將輸入的新聞圖像轉換為圖像表征，提取圖像中的視覺信息； Step4、圖文對比損失通過最大化正樣本相似性和最小化負樣本相似性，將圖像和文本之間的信息進行有效關聯和整合； Step5、圖文融合器將文本表征和圖像表征進行融合，獲取融合后的圖文表征；通過充分捕獲文本和圖像之間的關聯性，提取文本中的關鍵信息； Step6、摘要解碼器使用融合后的圖文特征作為輸入，生成中文的摘要； 所述步驟Step5的具體步驟為： Step5.1、在進行圖文融合前，利用多頭注意力機制和前饋神經網絡對文本進行進一步編碼，得到輸出然后結合圖像編碼器的輸出進行圖文融合，具有S個視覺特征向量序列，其中圖文融合器的層數為6-L；L為編碼器的層數； Step5.2、使用基于多頭注意力融合，引入多個注意力頭，采用多個并行的注意力頭同時學習和捕捉不同的特征信息； 其中查詢向量Q從輸入文本特征中獲取，鍵向量K和值向量V從輸入視覺特征中獲取，將向量Q，K，V相應地進行了線性投影，分別表示為Pq、Pk和Pv；Q＝OcPq，K＝OvPk，V＝OvWv，采用一個跨模態多頭注意實現對文本的篩選和重組，最終得到視覺特征D1； 最后，參考點積注意力融合連接輸入的文本特征Oc與視覺特征D1，得到視覺引導的文本特征Oc′，隨后，將這個特征通過線性變換P投影到所需的維度； O′c＝ConcatOc,D1P。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人昆明理工大學，其通訊地址為：650500 云南省昆明市呈貢區景明南路727號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。