巢湖學院葉海燕獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉巢湖學院申請的專利一種基于教育場景的視頻語義情感識別系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119888582B 。
龍圖騰網通過國家知識產權局官網在2025-09-02發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510354826.6,技術領域涉及:G06V20/40;該發明授權一種基于教育場景的視頻語義情感識別系統是由葉海燕;宋曉曉;王小超;張小偉;劉浩洋;連順設計研發完成,并于2025-03-25向國家知識產權局提交的專利申請。
本一種基于教育場景的視頻語義情感識別系統在說明書摘要公布了:本發明公開了一種基于教育場景的視頻語義情感識別系統,本發明涉及教育系統技術領域。該基于教育場景的視頻語義情感識別系統,包括:數據預處理與增強模塊、面部與姿勢處理模塊、特征提取與分類模塊、雙模態融合與識別模塊、狀態及時域分析模塊、上課質量評價模塊;通過全面的預處理與增強,提升視頻幀質量,為后續分析奠定良好基礎。面部與姿勢處理模塊能應對扭頭、遮擋等復雜情況,保證數據完整性。雙模態融合特征,結合深度神經網絡時序建模,更精準識別情感。狀態及時域分析模塊創新性地建立含時域信息的數據庫,不僅能分析學生活躍度、專心程度,還能結合時域因子剖析情感狀態變化。
本發明授權一種基于教育場景的視頻語義情感識別系統在權利要求書中公布了:1.一種基于教育場景的視頻語義情感識別系統,其特征在于,包括: 數據預處理與增強模塊:對課堂視頻幀去噪、光照均衡、遮擋處理,并進行旋轉操作增強數據; 面部與姿勢處理模塊:使用MTCNN或RetinaFace算法進行課堂視頻中的學生面部檢測,輸出學生面部的邊界框,然后利用Dlib庫中的68點或98點人臉關鍵點檢測模型,進行面部關鍵點定位,精確捕捉包括眼睛、嘴巴、眉毛的面部特征;在檢測到學生面部并定位關鍵點后,采用光流方程來計算面部關鍵點在連續視頻幀之間的運動矢量;通過計算視頻幀中像素點的運動矢量,持續追蹤學生面部的運動軌跡;為每個關鍵點設置一個跟蹤窗口,并設置跟蹤閾值,以判斷跟蹤是否有效;檢測頭部姿勢,進一步處理扭頭或遮擋導致的面部不完整數據;遮擋檢測:在跟蹤過程中,定期檢查面部邊界框內的關鍵點可見性;設置關鍵點可見性閾值,當關鍵點數量低于閾值時,關鍵點被遮擋或消失時,即觸發遮擋檢測,通過計算關鍵點周圍像素的梯度或顏色差異來判斷關鍵點是否可見;當檢測到遮擋時,暫停光流法跟蹤,轉而使用面部重檢測算法在遮擋后的幾幀內重新搜索面部;一旦重新檢測到面部,立即恢復光流法跟蹤,并更新關鍵點信息;扭頭檢測:通過分析面部關鍵點的角度變化,判斷學生是否扭頭;設置關鍵點角度變化閾值,若關鍵點的角度變化超過預設閾值,則視為扭頭,使用向量夾角公式計算兩個關鍵點向量之間的角度變化;當檢測到扭頭時,同樣暫停光流法跟蹤,并嘗試通過頭部姿態估計算法預測學生頭部的可能位置;使用面部重檢測算法在預測位置附近搜索面部;一旦重新檢測到面部,恢復跟蹤并更新關鍵點信息; 特征提取與分類模塊:從面部提取特征并識別和分類表情;基于檢測到的人臉邊界框,計算人臉的旋轉角度;對人臉圖像進行旋轉校正,使人臉圖像面向正面,在旋轉校正后的人臉圖像上,使用關鍵點檢測算法來檢測人臉的關鍵點,基于關鍵點計算變換矩陣應用于人臉圖像的精細對齊; 雙模態融合與識別模塊:融合學生面部表情特征和頭部姿勢特征,用深度神經網絡進行時序建模和識別,以識別學生情感狀態的變化趨勢,并用于后續結合時域分子分析學生的情感狀態變化情況; 狀態及時域分析模塊:分析學生活躍度、專心程度,結合時域因子分析一天內及每堂課不同時間段學生情感狀態變化率; 上課質量評價模塊:基于學生活躍度、專心程度、學生情感狀態變化率和教師教學語音質量綜合評價上課質量。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人巢湖學院,其通訊地址為:238024 安徽省合肥市巢湖經濟開發區半湯路1號巢湖學院;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。