山東大學;山東省工業技術研究院張敬林獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉山東大學;山東省工業技術研究院申請的專利基于視覺-語言提示的工業缺陷檢測方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119887681B 。
龍圖騰網通過國家知識產權局官網在2025-09-16發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411952820.0,技術領域涉及:G06F40/12;該發明授權基于視覺-語言提示的工業缺陷檢測方法是由張敬林;張澤愷;陳慶輝;熊毛毛設計研發完成,并于2024-12-27向國家知識產權局提交的專利申請。
本基于視覺-語言提示的工業缺陷檢測方法在說明書摘要公布了:本發明涉及工業場景缺陷檢測技術領域,尤其是提供了一種基于視覺?語言提示的工業缺陷檢測方法。該方法包括搭建目標檢測模型的特征提取網絡;根據特征提取網絡,搭建視覺?語言提示模塊;搭建視覺?語言檢測模塊,并將特征提取網絡和視覺?語言提示模塊進行連接,以構建工業缺陷檢測模型;訓練構建的工業缺陷檢測模型,對訓練后的工業缺陷檢測模型進行封裝部署,并通過訓練后的工業缺陷檢測模型,獲得缺陷檢測結果,該方法準確區別了工業缺陷,加快了對工業缺陷目標的識別和定位,從而提高了對工業缺陷圖像檢測的準確性。
本發明授權基于視覺-語言提示的工業缺陷檢測方法在權利要求書中公布了:1.一種基于視覺-語言提示的工業缺陷檢測方法,其特征在于,所述方法包括: 步驟S1、搭建目標檢測模型的特征提取網絡; 步驟S2、根據步驟S1中的特征提取網絡,搭建視覺-語言提示模塊; 步驟S3、搭建視覺-語言檢測模塊,并將步驟S1中的特征提取網絡和步驟S2中的視覺-語言提示模塊進行連接,以構建工業缺陷檢測模型; 步驟S4、訓練步驟S3中構建的工業缺陷檢測模型,對訓練后的工業缺陷檢測模型進行封裝部署,并通過訓練后的工業缺陷檢測模型,獲得缺陷檢測結果; 所述特征提取網絡由分割一切大模型、卷積專家模型、語言編碼器和掩碼領域適應模塊組成;分割一切大模型分支、卷積專家模型分支、語言編碼器分支采用并行的方式提取特征; 所述分割一切大模型分支包含編碼器結構,其中,編碼器結構分為第一注意力模塊、第二注意力模塊、第三注意力模塊和第四注意力模塊; 所述卷積專家模型分支包括第一卷積模塊、第二卷積模塊、第三卷積模塊和第四卷積模塊; 所述步驟S2中的視覺-語言提示模塊由細化的視覺提示模塊、視覺語言交互模塊組成; 所述細化的視覺提示模塊的結構構成包括: 6、將重建后的分割一切大模型分支的第一注意力模塊、第二注意力模塊、第三注意力模塊和第四注意力模塊中的特征圖通過能量評估函數對每個像素進行打分,得到每個像素位置的不確定性得分Mk,其公式為: 其中,k是歸一化常數,Ni是第i個像素的相鄰像素集合,是第i個像素和第j個像素之間的相似性度量; 7、不同鄰域大小的圖像塊分割Mk;對于單個像素在特征空間的位置,臨域像素集其表示為: 其中,h′,w′為像素的相對位置; 8、給定一組分割后的臨域像素集,采用稀疏選擇機制選擇高頻的像素,通過選取top-k個patch內部像素值大于均值的像素完成稀疏樣本選擇,其公式為: 其中,表示中的任意像素,表示鄰域空間內的像素級均值,表示選擇出的稀疏樣本; 9、引入基于IoU的優化機制來迭代優化特征的激活機制;優化機制的目標為將選擇出的高頻像素點均落在真實框的區域內;優化機制采用額外的檢測頭對進行回歸預測,通過CIoU來優化特征激活的效果; 所述視覺語言交互模塊的結構構成包括: 11、將重建后的分割一切大模型分支的第一注意力模塊、第二注意力模塊、第三注意力模塊和第四注意力模塊中的特征圖與相乘后與卷積專家模型分支的第一卷積模塊、第二卷積模塊、第三卷積模塊和第四卷積模塊中的特征圖Sj相加,得到細化的視覺特征FL,其公式為: 12、通過對文本編碼器生成的文本特征嵌入T和圖像特征FL∈RCxHxWL∈{1,2,3,4},使用最大Sigmoid注意力查詢文本-圖像匹配的語義特征;將文本特征聚集到圖像特征中,其公式為: 其中,Fimage-text表示細化的視覺-語言特征,σ表示激活函數Sigmoid,表示含有多個關鍵詞的文本嵌入的轉置矩陣; 所述步驟S3中的視覺-語言檢測模塊的結構構成包括: 15、通過回歸輸出N個對象位置的預測,使用位置回歸來定位工業缺陷物體的位置,使用任務對齊的真值標簽分配來選擇正確的對象位置的預測,并將每個選擇的對象位置預測作為正樣本與文本匹配作為分類標簽; 16、在文本特征嵌入T上,通過對象區域-文本T的相似度和對象-文本之間的交叉熵計算區域-文本對比損失;損失IOU和分布聚焦損失distributedfocalloss用來優化對象位置的預測;其中,當輸入圖像包含真實框時,計算和,反之則不計算。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人山東大學;山東省工業技術研究院,其通訊地址為:250012 山東省濟南市歷下區文化西路44號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。