中國科學(xué)技術(shù)大學(xué);合肥綜合性國家科學(xué)中心人工智能研究院(安徽省人工智能實驗室)王上飛獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉中國科學(xué)技術(shù)大學(xué);合肥綜合性國家科學(xué)中心人工智能研究院(安徽省人工智能實驗室)申請的專利一種基于熱圖梯度約束的人體姿態(tài)估計方法獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予,授權(quán)公告號為:CN115713784B 。
龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-19發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請?zhí)?專利號為:202211443859.0,技術(shù)領(lǐng)域涉及:G06V40/10;該發(fā)明授權(quán)一種基于熱圖梯度約束的人體姿態(tài)估計方法是由王上飛;方林設(shè)計研發(fā)完成,并于2022-11-18向國家知識產(chǎn)權(quán)局提交的專利申請。
本一種基于熱圖梯度約束的人體姿態(tài)估計方法在說明書摘要公布了:本發(fā)明公開了一種引入熱圖梯度約束的人體姿態(tài)估計方法,其步驟包括:1、對人體姿態(tài)估計數(shù)據(jù)庫基于自上而下的任務(wù)范式進行預(yù)處理;2、構(gòu)建基于熱圖回歸的人體姿態(tài)估計網(wǎng)絡(luò)模型;3、使用引入熱圖梯度約束的損失函數(shù)訓(xùn)練構(gòu)建的網(wǎng)絡(luò)模型;4、利用訓(xùn)練好的模型對待測人體圖像進行預(yù)測,實現(xiàn)人體姿態(tài)估計。本發(fā)明能讓模型注重預(yù)測熱圖的形狀約束,從而有效地提升困難樣本上的預(yù)測準(zhǔn)確度,最后實現(xiàn)精確的人體姿態(tài)估計。
本發(fā)明授權(quán)一種基于熱圖梯度約束的人體姿態(tài)估計方法在權(quán)利要求書中公布了:1.一種基于熱圖梯度約束的人體姿態(tài)估計方法,其特征是按如下步驟進行: 步驟1、對人體姿態(tài)估計數(shù)據(jù)庫進行數(shù)據(jù)預(yù)處理: 所述人體姿態(tài)估計數(shù)據(jù)庫中任意第A個樣本是由一張原始圖片IA、一個人體框bboxA和一組人體關(guān)鍵點μA組成;所述樣本A的一組人體關(guān)鍵點坐標(biāo)μA包含K個坐標(biāo),記為其中,表示第i個人體關(guān)鍵點的坐標(biāo),K表示人體關(guān)鍵點數(shù); 使用樣本A的人體框bboxA對原始圖片IA進行裁剪,并縮放到指定尺寸后得到輸入圖片I′A,并將原始圖片IA上的人體關(guān)鍵點坐標(biāo)μA轉(zhuǎn)換到輸入圖片I′A上的人體關(guān)鍵點坐標(biāo)μ′A;由{I′A,μ′A}構(gòu)成樣本A預(yù)處理后的一組人體姿態(tài)數(shù)據(jù),從而得到包含N個樣本的預(yù)處理后的人體姿態(tài)數(shù)據(jù)庫Dp; 步驟2、基于HRNet網(wǎng)絡(luò)構(gòu)建基于熱圖回歸的人體姿態(tài)估計網(wǎng)絡(luò)Fp: 所述HRNet網(wǎng)絡(luò)包括:輸入層、B個特征提取與融合階段和輸出層;其中,所述輸入層包括:卷積層、批標(biāo)準(zhǔn)化層、ReLU激活函數(shù);B個特征提取與融合階段由B個特征提取模塊和B個融合模塊構(gòu)成,每個特征提取模塊由卷積層、批標(biāo)準(zhǔn)化層、ReLU激活函數(shù)和殘差連接組成,每個融合模塊由卷積層、批標(biāo)準(zhǔn)化層和ReLU激活函數(shù)組成;所述輸出層包括:反卷積層、卷積層、批標(biāo)準(zhǔn)化層和ReLU激活函數(shù); 使用高斯分布對所述HRNet網(wǎng)絡(luò)中所有卷積層、反卷積層和批標(biāo)準(zhǔn)化層進行權(quán)值初始化; 步驟3、使用引入熱圖梯度約束的損失函數(shù)訓(xùn)練人體姿態(tài)估計網(wǎng)絡(luò)Fp: 步驟3.1、根據(jù)所述人體姿態(tài)數(shù)據(jù)庫Dp中樣本A的人體姿態(tài)數(shù)據(jù){I′A,μ′A}中的人體關(guān)鍵點坐標(biāo)μ′A生成樣本A的目標(biāo)熱圖和目標(biāo)熱圖梯度圖其中,表示樣本A的第i個人體關(guān)鍵點的目標(biāo)熱圖,表示樣本A的第i個人體關(guān)鍵點的目標(biāo)熱梯度圖; 步驟3.1.1、利用式1生成樣本A的第i個人體關(guān)鍵點的目標(biāo)熱圖上坐標(biāo)為x,y的像素值從而得到樣本A的第i個人體關(guān)鍵點的目標(biāo)熱圖最終得到樣本A的K個人體關(guān)鍵點的目標(biāo)熱圖 式1中,和表示預(yù)處理后的第i個人體關(guān)鍵點坐標(biāo)μi′A的x軸值和y軸值,σ一個是固定的超參數(shù),X和Y分別表示目標(biāo)熱圖的尺寸; 步驟3.1.2、利用式2生成樣本A的第i個人體關(guān)鍵點的目標(biāo)熱圖梯度上坐標(biāo)為x,y的像素值從而得到樣本A的第i個人體關(guān)鍵點的目標(biāo)熱圖梯度圖最終得到樣本A的K個人體關(guān)鍵點的目標(biāo)熱圖梯度圖 式2中,和表示第i個關(guān)鍵點在x軸和y軸方向的目標(biāo)熱圖梯度圖在坐標(biāo)x,y的像素值;表示樣本A的第i個人體關(guān)鍵點的目標(biāo)熱圖上坐標(biāo)為x+1,y的像素值,表示樣本A的第i個人體關(guān)鍵點的目標(biāo)熱圖上坐標(biāo)為x,y+1的像素值; 步驟3.2、將所述人體姿態(tài)數(shù)據(jù)庫Dp中樣本A的人體姿態(tài)數(shù)據(jù){I′A,μ′A}中的I′A輸入到人體姿態(tài)估計網(wǎng)絡(luò)Fp中,得到樣本A的預(yù)測熱圖 表示樣本A的第i個人體關(guān)鍵點的預(yù)測熱圖; 利用式3生成樣本A的第i個人體關(guān)鍵點的預(yù)測熱圖梯度圖上坐標(biāo)為x,y的像素值從而得到樣本A的第i個人體關(guān)鍵點的預(yù)測熱圖梯度圖最終得到樣本A的K個人體關(guān)鍵點的預(yù)測熱圖梯度圖 式3中,和表示第i個關(guān)鍵點在x軸和y軸方向的預(yù)測熱圖梯度圖在坐標(biāo)x,y的像素值;表示樣本A的第i個人體關(guān)鍵點的預(yù)測熱圖上坐標(biāo)x+1,y的像素值,表示樣本A的第i個關(guān)鍵點的預(yù)測熱圖上坐標(biāo)x,y的像素值,表示樣本A的第i個人體關(guān)鍵點的預(yù)測熱圖上坐標(biāo)x,y+1的像素值; 步驟3.3、建立引入熱圖梯度約束的人體姿態(tài)估計損失函數(shù)Lp; 步驟3.3.1、利用式4建立預(yù)測熱圖和目標(biāo)熱圖之間的均方誤差損失函數(shù)LH: 式4中,N表示所述人體姿態(tài)數(shù)據(jù)庫Dp中樣本的數(shù)量; 步驟3.3.2、利用式5建立預(yù)測熱圖梯度圖和目標(biāo)熱圖梯度圖之間的均方誤差損失LG: 式5中,N表示所述人體姿態(tài)數(shù)據(jù)庫Dp中樣本的數(shù)量,K表示人體關(guān)鍵點數(shù),X和Y分別表示熱圖的尺寸,X-1和Y分別表示x軸方向的熱圖梯度圖的尺寸,X和Y-1分別表示y軸方向的熱圖梯度圖的尺寸; 步驟3.3.3、利用式6建立引入熱圖梯度約束的人體姿態(tài)估計損失函數(shù)Lp: Lp=αLH+βLG6 式6中,α和β表示對LH和LG進行權(quán)衡的超參數(shù); 步驟3.4、使用Adam方法對人體姿態(tài)估計網(wǎng)絡(luò)Fp進行訓(xùn)練,并計算所述損失函數(shù)Lp用于更新網(wǎng)絡(luò)參數(shù),當(dāng)訓(xùn)練迭代次數(shù)達(dá)到設(shè)定的次數(shù)或損失函數(shù)達(dá)小于所設(shè)定的閾值時,訓(xùn)練停止,從而得到訓(xùn)練后的人體姿態(tài)估計網(wǎng)絡(luò) 步驟4、訓(xùn)練好的人體姿態(tài)估計網(wǎng)絡(luò)的預(yù)測; 步驟4.1、利用預(yù)訓(xùn)練的人體目標(biāo)檢測網(wǎng)絡(luò)FD對待測圖像Itest進行預(yù)測,得到預(yù)測的人體目標(biāo)檢測框其中,表示人體目標(biāo)檢測網(wǎng)絡(luò)FD對待測圖像Itest預(yù)測的第j個人體目標(biāo)檢測框,n表示人體目標(biāo)檢測網(wǎng)絡(luò)FD對待測圖像Itest預(yù)測的人體目標(biāo)檢測框數(shù)量; 步驟4.2、利用所述第j個人體目標(biāo)檢測框?qū)Υ郎y圖像Itest進行裁剪,并縮放到所述指定尺寸后第j個預(yù)處理后的輸入圖像從而得到輸入圖像集合 步驟4.3、所述第j個預(yù)處理后的輸入圖像輸入到訓(xùn)練后的人體姿態(tài)估計網(wǎng)絡(luò)中,得到輸入圖像的第i個人體關(guān)鍵點的預(yù)測熱圖從而得到輸入圖像的預(yù)測熱圖 從所述輸入圖像的第i個人體關(guān)鍵點的預(yù)測熱圖解碼出輸入圖像的第i個人體關(guān)鍵點的預(yù)測坐標(biāo)從而得到輸入圖像的K個人體關(guān)鍵點預(yù)測坐標(biāo)記為 步驟4.4、對所述待測圖像Itest的人體關(guān)鍵點預(yù)測坐標(biāo)集合進行非極大值抑制,從而得到待測圖像Itest的最終人體關(guān)鍵點預(yù)測坐標(biāo)集合其中,表示輸入圖像的最終人體關(guān)鍵點預(yù)測坐標(biāo)。
如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請人或?qū)@麢?quán)人中國科學(xué)技術(shù)大學(xué);合肥綜合性國家科學(xué)中心人工智能研究院(安徽省人工智能實驗室),其通訊地址為:230026 安徽省合肥市包河區(qū)金寨路96號;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報告中的分析和結(jié)論僅反映本公司于發(fā)布本報告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- P·K·朗P·K·朗獲國家專利權(quán)
- 維薩國際服務(wù)協(xié)會J·弗里安特獲國家專利權(quán)
- 維薩國際服務(wù)協(xié)會A·康韋獲國家專利權(quán)
- 維薩國際服務(wù)協(xié)會M·阿爾-貝戴維獲國家專利權(quán)
- 株式會社半導(dǎo)體能源研究所山崎舜平獲國家專利權(quán)
- 美敦力AF盧森堡有限責(zé)任公司D·海特里克獲國家專利權(quán)
- 北京嘀嘀無限科技發(fā)展有限公司任韌獲國家專利權(quán)
- 深圳市大疆創(chuàng)新科技有限公司王銘熙獲國家專利權(quán)
- 蘋果公司C·科代羅獲國家專利權(quán)
- 應(yīng)用材料公司任河獲國家專利權(quán)


熱門推薦
- 谷歌有限責(zé)任公司伊利亞·噶納迪維奇·格爾芬賓獲國家專利權(quán)
- 希森美康株式會社斯考特·萊舍獲國家專利權(quán)
- 創(chuàng)新先進技術(shù)有限公司邵明成獲國家專利權(quán)
- 馬斯公司A·G·馬蘭戈尼獲國家專利權(quán)
- 新唐科技日本株式會社犬飼文人獲國家專利權(quán)
- M技術(shù)株式會社榎村真一獲國家專利權(quán)
- 日本電氣硝子株式會社廣瀨將行獲國家專利權(quán)
- 匹茲堡大學(xué)-屬高等教育聯(lián)邦體系約瑟夫·C·格洛廖索三世獲國家專利權(quán)
- 浜松光子學(xué)株式會社山本諭獲國家專利權(quán)
- 英特爾公司A·保爾獲國家專利權(quán)