杭州電子科技大學楊艷獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉杭州電子科技大學申請的專利基于視覺語言特征對比的胸部DR影像報告生成方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119069063B 。
龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411045347.8,技術領域涉及:G16H15/00;該發明授權基于視覺語言特征對比的胸部DR影像報告生成方法是由楊艷;彭云;羅國安;張浩力;陳浩設計研發完成,并于2024-08-01向國家知識產權局提交的專利申請。
本基于視覺語言特征對比的胸部DR影像報告生成方法在說明書摘要公布了:本發明公開了一種基于視覺語言特征對比的胸部DR影像報告生成方法,首先,獲取含有病變及無病變實例的胸部DR影像及對應報告構成訓練數據集的錨實例、正實例和負實例;然后,通過卷積神經網絡提取每個實例影像的卷積序列特征,進而得到視覺編碼特征;隨后,將錨實例、正實例、負實例分別進行編碼獲取語言編碼特征;進一步地,將含有病變實例與無病變實例的錨實例、正實例和負實例的視覺編碼特征和語言編碼特征進行對比來優化網絡;最后,在測試階段僅需將影像的視覺編碼特征輸入文本生成解碼器就可生成報告。本發明可以有效地通過對比不同實例間的視覺特征和語言特征來增強模型對于病變的表征,從而提升病變實例報告生成的性能。
本發明授權基于視覺語言特征對比的胸部DR影像報告生成方法在權利要求書中公布了:1.一種基于視覺語言特征對比的胸部DR影像報告生成方法,其特征在于,包括如下步驟: 步驟1、構建數據集,所述數據集包括胸部DR影像I和參考報告R,所述數據集根據病變實例定義錨實例、正實例和負實例; 步驟2、對數據集進行圖像增擴和文本增擴得到更多訓練數據; 步驟3、將DR影像輸入卷積神經網絡提取影像的卷積特征圖,并展開得到卷積序列特征X; 步驟4、將卷積序列特征與CLS類向量進行拼接得到序列特征E并輸入自注意力編碼網絡編碼得到錨實例影像視覺編碼特征C; 步驟5、將錨實例影像視覺編碼特征C輸入基于Transformer的文本生成解碼器生成對應的報告文本; 步驟6、將錨實例的生成報告以及正實例和負實例的參考報告輸入語言特征編碼器得到對應的語言編碼特征; 步驟7、錨實例、正實例、負實例的視覺編碼特征中CLS類向量對應的視覺編碼特征向量c進行對比,拉近正實例和錨實例的距離,拉開錨實例和負實例的距離; 步驟7中,拉開錨實例和負實例的距離,具體公式如下: 其中,ca表示錨實例的視覺編碼特征對比向量,cp表示正實例的視覺編碼特征對比向量,cn為負實例的視覺編碼特征對比向量,mv為視覺特征對比的邊界值,表示視覺特征對比損失函數; 步驟8、將錨實例、正實例、負實例的語言編碼特征進行對比,拉近正實例和錨實例的距離,拉開錨實例和負實例的距離; 步驟8中,拉開錨實例和負實例的距離,具體公式如下: 其中,la表示錨實例的語言編碼特征對比向量,lp表示正實例的語言編碼特征,ln為負實例的語言編碼特征對比向量,ml表示語言特征對比的邊界值,表示語言特征對比損失函數; 步驟9、采用步驟1訓練數據集進行聯合訓練,并采用交叉熵損失函數、視覺特征對比損失函數以及語言特征對比損失函數訓練的優化函數; 所述優化函數表達式如下: 其中,表示模型訓練的總體損失函數;為報告生成的交叉熵損失函數,M表示報告的序列長度,表示語言特征對比損失函數,表示視覺特征對比損失函數; 步驟10、在測試過程中,僅需將待測試的胸部DR影像對應的視覺編碼特征輸入文本生成解碼器通過自回歸的文本生成方式生成文本,并取結束字符之前的生成的文本進行串聯就可得到完整的報告。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人杭州電子科技大學,其通訊地址為:310018 浙江省杭州市錢塘區白楊街道2號大街1158號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。