買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉西北工業大學申請的專利基于多模態數據學習的移動端兒童視覺注意異常篩查方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115761908B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211164739.7，技術領域涉及：G06V40/70；該發明授權基于多模態數據學習的移動端兒童視覺注意異常篩查方法是由夏辰;陳賀旭;韓軍偉;郭雷;李寬;張馳;徐智鴻設計研發完成，并于2022-09-23向國家知識產權局提交的專利申請。

本基于多模態數據學習的移動端兒童視覺注意異常篩查方法在說明書摘要公布了：本發明涉及一種多模態數據學習的移動端兒童視覺注意異常篩查方法，屬于計算機視覺領域。設置校準視頻與測試視頻，并分別記錄兒童在智能手機端觀看校準視頻與測試視頻時的頭面部視頻；構建眼動估計模型，從測試視頻對應的頭面部視頻中逐幀預測注視點位置，并從注視點跳轉幅度、注視點跳轉角度與感興趣區域等多個角度來提取眼動特征；從測試視頻對應的頭面部視頻中分別提取面部表情特征與頭部姿態特征；再利用長短期記憶網絡將不同模態特征融合起來，實現從多模態特征到類別標簽的映射。在測試階段，記錄待分類兒童在觀看移動端視頻時的頭面部視頻，并提取眼動、面部表情與頭部姿態等特征輸入到訓練后模型中判定是否異常。

本發明授權基于多模態數據學習的移動端兒童視覺注意異常篩查方法在權利要求書中公布了：1.一種基于多模態數據學習的移動端兒童視覺注意異常篩查方法，其特征在于步驟如下： 步驟1：設置校準視頻與測試視頻，并分別記錄m名視覺注意異常兒童與m名正常發育兒童在智能手機端觀看校準視頻與測試視頻時的頭面部視頻； 步驟2：構建眼動估計模型，使用眼動估計模型對測試視頻對應的頭面部視頻幀進行注視點位置估計，并從注視點跳轉幅度、注視點跳轉角度與感興趣區域來提取眼動特征；所述的構建眼動估計模型具體如下： 首先，從兩個校準視頻對應的頭面部視頻采樣得到視頻幀，同時采用單階多層檢測器對每一視頻幀中的人臉與左右眼進行檢測，得到人臉圖像、左右眼圖像和相應的邊界框；接下來，將人臉和左右眼圖像轉化為固定尺寸，并且將相應的邊界框歸一化，利用卷積神經網絡分別對人臉與左右眼圖像進行提取特征；其中左右眼共享卷積神經網絡權值，再利用全連接層對相對應的邊界框進行特征提取，以獲得人臉與左右眼在圖像中相對位置特征；最后，利用全連接層將上述分別提取到的特征進行融合，經過全連接層得到最終的眼動估計結果； 步驟3：從測試視頻對應的頭面部視頻中分別提取面部表情特征與頭部運動特征；再利用長短期記憶LSTM網絡將不同模態特征融合起來，實現從多模態特征到類別標簽的映射；所述的頭部運動特征包括頭部姿態特征與頭部運動距離特征，所述頭部姿態特征提取方法：采用受約束的局部神經域面部標志檢測器來估計不同頭部姿態角，再通過設定閾值對頭部姿態進行分類劃分；其中頭部姿態角包括：頭部俯仰角，頭部偏向角與頭部滾動角；根據三個頭部姿態角，頭部姿態的具體劃分如下所示： 所述頭部運動距離特征提取方法：首先估計兩眼中間點的三維坐標來定位頭部，再計算每相鄰兩幀頭部定位點在立體空間上的歐式距離來衡量頭部運動距離，最后按照5個區間對頭部運動距離進行量化劃分； 步驟4：在測試階段，記錄待分類兒童在觀看移動端視頻時的頭面部視頻，并提取眼動、面部表情與頭部運動多模態特征輸入到訓練后LSTM網絡模型中判定是否異常。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人西北工業大學，其通訊地址為：710072 陜西省西安市友誼西路；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。