買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉安徽農(nóng)業(yè)大學(xué)申請(qǐng)的專利一種基于多模態(tài)融合技術(shù)的復(fù)雜場(chǎng)景下蘋果果實(shí)檢測(cè)方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119851264B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411921967.3，技術(shù)領(lǐng)域涉及：G06V20/68；該發(fā)明授權(quán)一種基于多模態(tài)融合技術(shù)的復(fù)雜場(chǎng)景下蘋果果實(shí)檢測(cè)方法是由丁文榮;蔣婷婷;宋旭婷;楊帥;辜麗川設(shè)計(jì)研發(fā)完成，并于2024-12-25向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于多模態(tài)融合技術(shù)的復(fù)雜場(chǎng)景下蘋果果實(shí)檢測(cè)方法在說(shuō)明書摘要公布了：本發(fā)明公開了一種基于多模態(tài)融合技術(shù)的復(fù)雜場(chǎng)景下蘋果果實(shí)檢測(cè)方法，包括：1、構(gòu)建數(shù)據(jù)集；2、可見光圖像與紅外光圖像特征融合；3、對(duì)融合得到的可見光圖像特征進(jìn)行掩碼并與視覺特征進(jìn)行融合；4、將融合后的視覺特征與文本特征融合；5、對(duì)可見光圖像特征進(jìn)行過(guò)濾；6、將可見光圖像特征與文本特征輸入到詞?區(qū)域相似度計(jì)算中；7、結(jié)合Soft?NMS和Focal?EIOU選取最優(yōu)目標(biāo)框。本發(fā)明將紅外光圖像、可見光圖像、文本三種模態(tài)進(jìn)行特征融合，綜合考慮了不同模態(tài)的互補(bǔ)優(yōu)勢(shì)。并且利用軟非極大值抑制Soft?NMS和Focal?EIOU來(lái)選取最優(yōu)目標(biāo)框，有效提高了復(fù)雜條件下蘋果果實(shí)的檢測(cè)精度。

本發(fā)明授權(quán)一種基于多模態(tài)融合技術(shù)的復(fù)雜場(chǎng)景下蘋果果實(shí)檢測(cè)方法在權(quán)利要求書中公布了：1.一種基于多模態(tài)融合技術(shù)的復(fù)雜場(chǎng)景下蘋果果實(shí)檢測(cè)方法，其特征在于，是按如下步驟進(jìn)行： 步驟1、構(gòu)建數(shù)據(jù)集： 步驟1.1、利用深度相機(jī)采集果園中蘋果的可見光圖像和紅外光圖像，相應(yīng)得到蘋果的可見光圖像數(shù)據(jù)集和蘋果的紅外光圖像數(shù)據(jù)集，其中，表示第類蘋果中第張可見光圖像，表示第類蘋果中第張紅外光圖像，表示類別數(shù)，表示每一類蘋果的圖像總數(shù)； 步驟1.2、利用標(biāo)注工具對(duì)蘋果的可見光圖像進(jìn)行類別標(biāo)注，得到蘋果的可見光圖像數(shù)據(jù)集的標(biāo)注集，其中，表示的類別標(biāo)注，且，其中，表示的第個(gè)蘋果果實(shí)，為中蘋果果實(shí)的總數(shù)，表示中第個(gè)蘋果果實(shí)的真實(shí)標(biāo)簽，表示中第個(gè)蘋果果實(shí)的標(biāo)簽框，且，表示的中心點(diǎn)坐標(biāo)，表示的寬和高； 步驟2、將第c類蘋果的可見光圖像數(shù)據(jù)集輸入到模型中進(jìn)行提取，得到第c類蘋果的可見光視覺信息，從而得到蘋果的可見光視覺信息集；其中，表示第類蘋果的可見光圖像集合中第個(gè)視覺，表示每類蘋果中的可見光視覺總數(shù)； 步驟3、構(gòu)建文本提示符，并利用預(yù)訓(xùn)練語(yǔ)言模型對(duì)所述文本提示符進(jìn)行文本嵌入，生成文本向量，其中，表示第c類蘋果的文本； 步驟4、對(duì)中的任一類蘋果的文本進(jìn)行掩碼，得到帶掩碼的文本信息，其中，表示被掩碼的某類蘋果的文本； 步驟5、構(gòu)建蘋果果實(shí)檢測(cè)網(wǎng)絡(luò)，并對(duì)、和進(jìn)行處理，得到候選邊界框集、及其匹配分?jǐn)?shù)集，其中，表示第類蘋果中第個(gè)可見光圖像中第個(gè)蘋果果實(shí)的第個(gè)候選框；表示的匹配分?jǐn)?shù)； 步驟5.1、將和分別輸入到可見光圖像編碼器和紅外光圖像編碼器中進(jìn)行特征提取，相應(yīng)得到蘋果的可見光圖像特征集以及紅外光圖像特征集，其中，表示第類蘋果中第張可見光圖像的特征，表示第類蘋果中第張紅外光圖像的特征； 可見光圖像編碼器利用式1得到可見光融合特征集； 1 式1中，表示第類蘋果中第個(gè)可見光圖像的融合特征，表示激活函數(shù)，、、分別為的查詢向量、的鍵向量的權(quán)重、的值向量的權(quán)重，為的維度； 步驟5.2、將輸入到圖像編碼器中進(jìn)行特征提取，得到可見光視覺特征集，其中，表示第類蘋果的第個(gè)可見光視覺特征； 步驟5.3、創(chuàng)建一個(gè)與的大小相同的全1的掩碼矩陣，并通過(guò)式2和式3對(duì)和進(jìn)行范數(shù)歸一化處理，從而得到得到歸一化后的可見光圖像特征集和歸一化后的可見光視覺特征集； 2 3 式2和式3中，表示歸一化后第類蘋果中第個(gè)可見光圖像向量，表示歸一化后第類蘋果中第個(gè)可見光視覺向量； 步驟5.4、通過(guò)式4計(jì)算和之間的相似度距離矩陣，其中，表示第類蘋果中第個(gè)可見光圖像向量和第個(gè)視覺向量之間的距離； 4 步驟5.5、利用式5和式6分別計(jì)算的均值和標(biāo)準(zhǔn)差； 5 6 步驟5.6、利用式7計(jì)算的距離閾值： 7 式7中，為4個(gè)超參數(shù)，為距離的上四分位數(shù)；表示距離矩陣中所有元素的最小值，表示距離矩陣中所有元素的最大值； 步驟5.7、將與進(jìn)行比較，記錄中小于的索引位置，從而將掩碼矩陣中相應(yīng)的索引位置設(shè)置為0，并得到處理后的掩碼矩陣； 將處理后的掩碼矩陣與進(jìn)行點(diǎn)積，得到第類蘋果中第個(gè)帶有掩碼的圖像特征，從而得到掩碼后的可見光圖像特征； 步驟5.8、通過(guò)式8和式9分別對(duì)與進(jìn)行線性映射，得到的查詢向量，的鍵向量和的值向量； 8 9 式8和式9中，為查詢的映射函數(shù)，為鍵、值的映射函數(shù)，為線性變換函數(shù)； 步驟5.9、通過(guò)式10得到融合視覺特征=，其中，表示第類蘋果的第個(gè)可見光視覺融合特征； 10 式10中，為全連接層，為的維度； 步驟5.10、利用式11得到第類蘋果的第個(gè)二次融合后的可見光視覺特征； 11 式11中，為多頭注意力機(jī)制函數(shù)； 步驟5.11、利用式12得到蘋果的文本特征： 12 式12中，為歸一化函數(shù)； 步驟5.12、通過(guò)式13得到過(guò)濾后的可見光圖像特征，其中，為第類蘋果中第個(gè)過(guò)濾后的可見光圖像特征； 13 步驟5.13、利用式14生成與的相似度得分，從而得到匹配分?jǐn)?shù)； 14 步驟5.14、根據(jù)，利用生成候選邊界框集，其中，表示第類蘋果中第個(gè)可見光圖像中第個(gè)蘋果果實(shí)的第個(gè)候選框； 步驟5.15、利用式15計(jì)算原始匹配分?jǐn)?shù)： 15 式15中，為余弦相似度函數(shù)； 步驟5.16、利用式16計(jì)算的匹配分?jǐn)?shù)，從而得到所有候選框的匹配分?jǐn)?shù)集： 16 步驟6、構(gòu)建蘋果果實(shí)檢測(cè)網(wǎng)絡(luò)的總損失函數(shù)； 步驟7、利用梯度下降法對(duì)所述蘋果果實(shí)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并計(jì)算以更新網(wǎng)絡(luò)參數(shù)，當(dāng)訓(xùn)練迭代次數(shù)達(dá)到設(shè)定的次數(shù)或者收斂時(shí)，訓(xùn)練停止，從而得到最優(yōu)蘋果果實(shí)檢測(cè)模型； 步驟8、獲取目標(biāo)可見光圖像和文本提示符后，輸入到所述最優(yōu)蘋果果實(shí)檢測(cè)模型中進(jìn)行處理，得到所有預(yù)測(cè)框的匹配分?jǐn)?shù)，其中，表示目標(biāo)可見光圖像中第類蘋果中第個(gè)可見光圖像中第個(gè)蘋果果實(shí)的第個(gè)預(yù)測(cè)框，表示的匹配分?jǐn)?shù)，為目標(biāo)可見光圖像中預(yù)測(cè)框總數(shù)； 利用軟非極大值抑制算法對(duì)進(jìn)行處理，得到候選框的分?jǐn)?shù)排序，從而選擇最高分?jǐn)?shù)的候選框作為目標(biāo)圖像的果實(shí)檢測(cè)結(jié)果。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人安徽農(nóng)業(yè)大學(xué)，其通訊地址為：230036 安徽省合肥市長(zhǎng)江西路130號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。