買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉西湖心辰(杭州)科技有限公司申請的專利基于多模態識別的AI多模態對話系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120336493B 。

龍圖騰網通過國家知識產權局官網在2025-09-02發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510812668.4，技術領域涉及：G06F16/3329；該發明授權基于多模態識別的AI多模態對話系統是由俞佳;潘法昱;閆育銘設計研發完成，并于2025-06-18向國家知識產權局提交的專利申請。

本基于多模態識別的AI多模態對話系統在說明書摘要公布了：本申請涉及智能對話領域，其具體地公開了一種基于多模態識別的AI多模態對話系統，其首先分別提取文本詞粒度與圖像局部特征，其次通過雙向交叉注意力機制，在特征層級構建文本與圖像的動態關聯，隨后，通過多頭注意力捕獲跨模態高層語義的動態關聯，其層次化處理機制使得系統能夠自適應不同任務階段的多模態信息價值權重，既解決了傳統方法簡單拼接導致的模態鴻溝問題，又通過動態注意力機制捕捉跨模態時空關聯，最終通過意圖識別與大模型生成實現精準響應。這樣，突破了現有技術在跨模態特征提取、動態交互建模方面的局限，顯著提升了多模態意圖理解的準確性和響應相關性。

本發明授權基于多模態識別的AI多模態對話系統在權利要求書中公布了：1.一種基于多模態識別的AI多模態對話系統，其特征在于，包括： 輸入獲取模塊，用于獲取由用戶輸入的文本信息和由用戶上傳的圖像數據； 多模態編碼模塊，用于將文本信息和圖像數據分別輸入自然語言單模態深度編碼器和圖像深度編碼器以得到用戶意圖詞粒度語義編碼向量的集合和圖像局部語義編碼特征向量的集合； 早期特征融合模塊，用于將用戶意圖詞粒度語義編碼向量的集合和圖像局部語義編碼特征向量的集合輸入基于交叉注意力網絡的早期特征融合組件以得到增強用戶意圖詞粒度語義編碼向量的集合和增強圖像局部語義編碼特征向量的集合； 語義層特征融合模塊，用于將增強用戶意圖詞粒度語義編碼向量的集合和增強圖像局部語義編碼特征向量的集合輸入基于多頭注意力模塊的語義層特征融合組件以得到用戶意圖多模態融合表示； 意圖識別模塊，用于將用戶意圖多模態融合表示輸入意圖識別分類器以得到意圖識別結果； 智能響應生成模塊，用于將意圖識別結果和用戶意圖多模態融合表示輸入大語言模型以得到回應文本； 其中，早期特征融合模塊，進一步用于： 從用戶意圖詞粒度語義編碼向量的集合提取第一用戶意圖詞粒度語義編碼向量； 計算各個圖像局部語義編碼特征向量相對于第一用戶意圖詞粒度語義編碼向量的早期特征跨模態注意力值以得到圖像向早期特征跨模態注意力值的集合； 基于所述圖像向早期特征跨模態注意力值的集合，融合圖像局部語義編碼特征向量的集合以得到圖像向跨模態早期特征注意力交互編碼向量； 對圖像向跨模態早期特征注意力交互編碼向量和第一用戶意圖詞粒度語義編碼向量進行基于全局-局部稀疏耦合對稱優化以得到圖像向跨模態早期特征注意力交互優化編碼向量和第一用戶意圖詞粒度語義優化編碼向量，其中，所述全局-局部稀疏耦合對稱優化基于對圖像向跨模態早期特征注意力交互編碼向量和第一用戶意圖詞粒度語義編碼向量進行全局稀疏度殘差建模和全局稀疏度殘差的平滑性互約束來進行； 將圖像向跨模態早期特征注意力交互優化編碼向量和第一用戶意圖詞粒度語義優化編碼向量輸入殘差模塊以得到第一用戶意圖詞粒度語義編碼向量對應的增強用戶意圖詞粒度語義編碼向量。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人西湖心辰(杭州)科技有限公司，其通訊地址為：310000 浙江省杭州市西湖區三墩鎮智強路428號云創鎵谷研發中心6號樓6F601-604室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。