北京工業(yè)大學(xué);北京誠星科技有限公司何堅(jiān)獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉北京工業(yè)大學(xué);北京誠星科技有限公司申請(qǐng)的專利基于時(shí)序線性人體蒙皮模型和圖卷積網(wǎng)絡(luò)的四方向交警手勢(shì)識(shí)別方法獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN115731613B 。
龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202211424842.0,技術(shù)領(lǐng)域涉及:G06V40/20;該發(fā)明授權(quán)基于時(shí)序線性人體蒙皮模型和圖卷積網(wǎng)絡(luò)的四方向交警手勢(shì)識(shí)別方法是由何堅(jiān);呂孟飛;張丞;熊哲波設(shè)計(jì)研發(fā)完成,并于2022-11-14向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本基于時(shí)序線性人體蒙皮模型和圖卷積網(wǎng)絡(luò)的四方向交警手勢(shì)識(shí)別方法在說明書摘要公布了:基于時(shí)序線性人體蒙皮模型和圖卷積網(wǎng)絡(luò)的四方向交警手勢(shì)識(shí)別方法屬于電子信息領(lǐng)域。本方法利用時(shí)序線性人體蒙皮模型SMPL重建交警指揮手勢(shì)的動(dòng)力樹,并根據(jù)時(shí)間上下文信息構(gòu)建交警手勢(shì)時(shí)序動(dòng)力學(xué)圖模型。其次,針對(duì)現(xiàn)有圖結(jié)構(gòu)劃分策略受限的問題,提出了一種基于相對(duì)高度的圖卷積內(nèi)核標(biāo)簽劃分策略RHPS,并設(shè)計(jì)了一種基于相對(duì)高度的圖卷積網(wǎng)絡(luò)RHGCN。最后,融合RHGCN以及空間域平均預(yù)測(cè)器SMP設(shè)計(jì)實(shí)現(xiàn)了基于單目視覺的四方向交警手勢(shì)識(shí)別器MTPGR。本發(fā)明有效完成四方向交警手勢(shì)識(shí)別的任務(wù)需求,識(shí)別效果Jaccard系數(shù)達(dá)到0.908,相比現(xiàn)有單方向手勢(shì)識(shí)別方法提高0.137,識(shí)別準(zhǔn)確率顯著提升。
本發(fā)明授權(quán)基于時(shí)序線性人體蒙皮模型和圖卷積網(wǎng)絡(luò)的四方向交警手勢(shì)識(shí)別方法在權(quán)利要求書中公布了:1.基于時(shí)序線性人體蒙皮模型和圖卷積網(wǎng)絡(luò)的四方向交警手勢(shì)識(shí)別方法,其特征在于,包括以下三個(gè)部分: 建立交警指揮手勢(shì)的時(shí)序動(dòng)力學(xué)圖模型 交警指揮手勢(shì)的時(shí)序動(dòng)力學(xué)圖模型TSKG是基于蒙皮多人線性模型SMPL,并依據(jù)交警手勢(shì)識(shí)別的功能需求而構(gòu)建的;TSKG同時(shí)表示不同關(guān)節(jié)在空間上的動(dòng)力學(xué)關(guān)系,和不同幀中的相同關(guān)節(jié)在時(shí)間序列上的關(guān)系; TSKG定義為一個(gè)無向圖G=V,E;其中,是頂點(diǎn)集,E是所有邊的集合,NJ表示關(guān)節(jié)數(shù)量,T表示圖記錄的總時(shí)長(zhǎng);V={vj,t|j∈1,…,J,t=1,…,T},1,…,J表示NJ個(gè)不同的關(guān)節(jié),每個(gè)頂點(diǎn)表示3維關(guān)節(jié)坐標(biāo),表示x維的實(shí)數(shù)域空間;圖中邊集E由公式1所示的2個(gè)子集組成; E=ES∪ET#1 其中,表示每一幀中關(guān)節(jié)之間的動(dòng)力學(xué)關(guān)系,表示同一關(guān)節(jié)節(jié)點(diǎn)在相鄰幀之間的時(shí)域關(guān)聯(lián);ES由公式2描述的3組邊的并集組成; 其中,EK表示動(dòng)力學(xué)連接集,EA表示輔助集,EC表示回路集;集合EK包含根據(jù)人體骨骼自然連接的邊,如左臂和左肘;集合EA包含手工添加到圖中的邊,用于保持圖的聯(lián)通性;集合EC包含圖中全部頂點(diǎn)與自身形成的環(huán)路,用于將頂點(diǎn)的特征加入圖卷積計(jì)算; 時(shí)域關(guān)聯(lián)邊集合ET包含空間上相同、時(shí)間域相鄰的頂點(diǎn)之間連接形成的邊,如公式3所示; ET={vj,t,vj,t+1|j∈1,…,J,t=1,…,T-1}#3 式中,頂點(diǎn)vj,t和vj,t+1代表2個(gè)連續(xù)幀中的相同關(guān)節(jié); 2.使用相對(duì)高度劃分策略RHPS的圖卷積網(wǎng)絡(luò)RHGCN MTPGR的圖卷積網(wǎng)絡(luò)部分的關(guān)鍵特征包含兩個(gè)方面,相對(duì)高度劃分策略和圖卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu); 相對(duì)高度劃分策略為每個(gè)關(guān)節(jié)分配一個(gè)高度值,并將其作為標(biāo)簽進(jìn)行比較從而獲取距離,進(jìn)而確定圖卷積核參數(shù)和鄰接頂點(diǎn)之間的對(duì)應(yīng)關(guān)系;RHPS根據(jù)標(biāo)準(zhǔn)站立姿勢(shì)下關(guān)節(jié)的相對(duì)高度,為關(guān)節(jié)分配高度值s;卷積核中心對(duì)應(yīng)頂點(diǎn)為vj,t時(shí),關(guān)節(jié)vn,t的標(biāo)記函數(shù)如公式5所示; 其中,sn和sj分別表示關(guān)節(jié)vn,t和關(guān)節(jié)vj,t的高度值; 使用RHPS的圖卷積網(wǎng)絡(luò)RHGCN將TSKG模型中的無向時(shí)空?qǐng)DG作為輸入,其中頂點(diǎn)集合V作為輸入特征,邊集合E作為符合RHPS規(guī)則的鄰接矩陣,輸出如公式6所示手勢(shì)特征集YG; 其中,WG表示RHGCN的模型參數(shù),YG表示輸出手勢(shì)特征;表示圖卷積網(wǎng)絡(luò)RHGCN,由多個(gè)輸出通道數(shù)不同的時(shí)空?qǐng)D卷積層STGCL順序連接組成,設(shè)置為4個(gè)輸出通道數(shù)為64的STGCL、3個(gè)輸出通道數(shù)為128的STGCL和3個(gè)輸出通道數(shù)為256的STGCL; 其中每個(gè)STGCL為一個(gè)殘差塊結(jié)構(gòu),由7個(gè)部分組成,依次為殘差層起始位置、空間圖卷積層、注意力層、ReLU激活層、時(shí)間卷積層、殘差層結(jié)束位置、ReLU激活層;空間圖卷積層依照RHPS,使用3*3的卷積核進(jìn)行圖卷積計(jì)算,對(duì)對(duì)每條邊乘上注意力權(quán)重后,再對(duì)計(jì)算結(jié)果使用ReLU激活函數(shù)進(jìn)行激活,將結(jié)果輸出到時(shí)間卷積層,在時(shí)間維度上使用3*3的卷積核再進(jìn)行圖卷積計(jì)算;殘差層將以上從空間圖卷積層到時(shí)間卷積層的計(jì)算部分作為殘差部分,與直接映射部分相加,以提高網(wǎng)絡(luò)訓(xùn)練效率;最后使用ReLU激活函數(shù)激活殘差層求和的結(jié)果,輸出到下一個(gè)STGCL; 3.融合RHGCN和空間域平均預(yù)測(cè)器SMP的四方向單目交警手勢(shì)識(shí)別器MTPGR 空間域平均預(yù)測(cè)器是MTPGR中網(wǎng)絡(luò)結(jié)構(gòu)的最后一部分,與RHGCN相連;它在空間維度上對(duì)圖進(jìn)行平均池化操作,并保留時(shí)間維度以配合多對(duì)多的預(yù)測(cè)模式,為每一幀預(yù)測(cè)一個(gè)手勢(shì)類別; SMP用于從輸入圖G后RHGCN輸出的手勢(shì)特征YG中對(duì)手勢(shì)進(jìn)行分類;YG可以用標(biāo)量yG按公式7展開為集合的形式; 其中,CG代表輸出中的通道數(shù),NJ和T代表關(guān)節(jié)數(shù)和持續(xù)時(shí)間;由此,空間平均預(yù)測(cè)器SMP的計(jì)算如公式8所示; 其中,表示通道c上的空間特征值yG在時(shí)間點(diǎn)t的平均值,再以公式9獲取代表每類手勢(shì)得分的向量; 其中,向量 表示一個(gè)全連接網(wǎng)絡(luò),WF為該網(wǎng)絡(luò)參數(shù),是一個(gè)向量,表示每個(gè)手勢(shì)類別的得分,K表示手勢(shì)類別數(shù)量;t時(shí)刻的手勢(shì)類別kt如公式10所示;
如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人北京工業(yè)大學(xué);北京誠星科技有限公司,其通訊地址為:100124 北京市朝陽區(qū)平樂園100號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。