浙江理工大學(xué)張海翔獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉浙江理工大學(xué)申請的專利一種基于Transformer令牌掩碼的高效人體姿態(tài)估計方法獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予,授權(quán)公告號為:CN117292429B 。
龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-05發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請?zhí)?專利號為:202310915293.5,技術(shù)領(lǐng)域涉及:G06V40/20;該發(fā)明授權(quán)一種基于Transformer令牌掩碼的高效人體姿態(tài)估計方法是由張海翔;李少華;馬漢杰;馮杰設(shè)計研發(fā)完成,并于2023-07-25向國家知識產(chǎn)權(quán)局提交的專利申請。
本一種基于Transformer令牌掩碼的高效人體姿態(tài)估計方法在說明書摘要公布了:本發(fā)明公開了一種基于Transformer令牌掩碼的高效人體姿態(tài)估計方法,所采用的網(wǎng)絡(luò)模型TMPose性能出色,能夠讓網(wǎng)絡(luò)十分高效的完成高質(zhì)量的人體姿態(tài)估計任務(wù)。本發(fā)明網(wǎng)絡(luò)模型TMPose包括骨干網(wǎng)絡(luò)、令牌生成器、Transformer模塊以及熱圖回歸模塊,其有著很大的科學(xué)研究價值和實際應(yīng)用價值,由于令牌掩碼的方法具有一定的泛化性,因此可以很容易的與其他網(wǎng)絡(luò)模型相結(jié)合,啟發(fā)更多的工作。除此之外TMPose由于在保持較高水準(zhǔn)精度的同時,大幅度減低了計算復(fù)雜度,因此在實際的部署中可以高效的應(yīng)用于更多場景。
本發(fā)明授權(quán)一種基于Transformer令牌掩碼的高效人體姿態(tài)估計方法在權(quán)利要求書中公布了:1.一種基于Transformer令牌掩碼的高效人體姿態(tài)估計方法,包括如下步驟: 1獲取大量含有人物的圖片,并對圖片中人物的關(guān)節(jié)點位置進行標(biāo)注; 2構(gòu)建TMPose網(wǎng)絡(luò)模型框架,其包括骨干網(wǎng)絡(luò)、令牌生成器、Transformer模塊以及熱圖回歸模塊,其中: 所述骨干網(wǎng)絡(luò)用于對輸入的圖片進行特征提取; 所述令牌生成器用于將骨干網(wǎng)絡(luò)提取得到的特征圖轉(zhuǎn)化為一維序列形式,并通過部分掩碼生成Token,具體操作過程如下: 首先,將骨干網(wǎng)絡(luò)提取得到的特征圖切分成個網(wǎng)格,將每個網(wǎng)格展平成尺寸為Ph×Pw×C的一維序列,進而將展平后的序列通過線性層將其映射為視覺令牌,于此同時隨機初始化生成M個可學(xué)習(xí)的關(guān)鍵點令牌,其序列長度與視覺令牌一致,其中H、W、C分別為特征圖的高度、寬度、通道維度; 然后,通過映射函數(shù)將視覺令牌掩碼成L×M·R大小,掩碼過程中采用的映射函數(shù)包括隨機采樣、均勻采樣、片區(qū)采樣,采用的比率R=0.4、0.6或0.8,其中L、M分別為視覺令牌的序列長度和序列數(shù)量; 最后,對視覺令牌進行位置編碼,即利用二維的位置嵌入對視覺令牌中每條序列進行位置標(biāo)記,進而將關(guān)鍵點令牌與位置編碼完后的視覺令牌拼接在一起得到Token,送入至Transformer模塊; 所述Transformer模塊用于對輸入的Token進行編碼,從而輸出M個一維序列,M為標(biāo)注的關(guān)節(jié)點數(shù)量; 所述熱圖回歸模塊用于對這M個一維序列進行reshape生成M個熱圖,從中解碼出各關(guān)節(jié)點位置坐標(biāo)的預(yù)測結(jié)果;熱圖回歸模塊只取M個關(guān)鍵點令牌作為輸出,進而通過多層感知機將其重新映射回二維的熱圖形式,具體地:將Transformer模塊的輸出X送入到多層感知機中,在多層感知機中首先將X映射回二維生成P,其尺寸為M×H*×W*,H*和W*分別為原圖高度H和寬度W的14,最后將P重塑成M個熱圖,且熱圖尺寸與原圖一致,在此基礎(chǔ)上通過在熱圖上找到最大響應(yīng)位置來定位人體的各關(guān)節(jié)點坐標(biāo); 3利用步驟1中獲取的圖片及其標(biāo)注信息對上述模型框架進行訓(xùn)練; 4將包含人物的待估計圖片輸入至訓(xùn)練好的模型中,即可預(yù)測出該圖片中人物各關(guān)節(jié)點的位置坐標(biāo)。
如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請人或?qū)@麢?quán)人浙江理工大學(xué),其通訊地址為:310018 浙江省杭州市經(jīng)濟技術(shù)開發(fā)區(qū)白楊街道2號大街928號;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報告中的分析和結(jié)論僅反映本公司于發(fā)布本報告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。