江西師范大學黃欣獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉江西師范大學申請的專利基于時空協同的音樂表演姿態實時驅動方法及其系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120411317B 。
龍圖騰網通過國家知識產權局官網在2025-09-02發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510917152.6,技術領域涉及:G06T13/40;該發明授權基于時空協同的音樂表演姿態實時驅動方法及其系統是由黃欣;陳奕涵;汪媛;曾潔婷;王翔泰;鄔宇娟設計研發完成,并于2025-07-03向國家知識產權局提交的專利申請。
本基于時空協同的音樂表演姿態實時驅動方法及其系統在說明書摘要公布了:本發明涉及虛擬現實技術領域,具體涉及基于時空協同的音樂表演姿態實時驅動方法及其系統,通過多角度視頻流采集表演者動作,并結合音頻信號,利用輕量化卷積神經網絡提取關鍵關節坐標;創新性地采用多尺度時間窗口分析歷史幀數據,提取短程、中程和長程時序特征;引入關鍵關節重要性計算機制,對演奏相關關鍵關節賦予更高權重;通過時空深度協同交互機制實現時空信息的雙向增強;基于系統實時延遲信息動態調整預測參數,主動預測未來姿態以補償系統延遲;結合音樂節奏信息對預測姿態進行表現力增強;通過物理約束和逆運動學處理生成自然、逼真的虛擬角色驅動數據,本發明顯著降低了系統延遲感知,提升了音畫同步性和表演表現力。
本發明授權基于時空協同的音樂表演姿態實時驅動方法及其系統在權利要求書中公布了:1.基于時空協同的音樂表演姿態實時驅動方法,其特征在于,包括:獲取多角度視頻流和音頻信號;基于所述多角度視頻流,通過輕量化卷積神經網絡提取表演者關鍵關節的坐標數據;對歷史幀中的所述關鍵關節的坐標數據進行分析,包括:基于不同長度的時間窗口,提取多尺度時序特征;計算所述關鍵關節的重要性權重;通過時空深度協同交互機制,融合所述多尺度時序特征和當前幀空間特征,并將所述關鍵關節的重要性權重應用于融合過程中,對演奏相關的關鍵關節特征進行加權增強;獲取音樂表演姿態實時驅動處理流程中的采集延遲信息、處理延遲信息和傳輸延遲信息,并基于延遲信息調整預測參數;基于融合的特征和調整后的預測參數,預測未來時刻的關鍵關節坐標數據;結合所述音頻信號中的音樂節奏信息,對預測的關鍵關節坐標數據進行表現力增強;將增強后的關鍵關節坐標數據傳輸至渲染端;以及在所述渲染端,基于物理約束和逆運動學模型,將所述增強后的關鍵關節坐標數據轉換為虛擬角色驅動數據; 所述基于不同長度的時間窗口,提取多尺度時序特征具體包括:設置短程時間窗口、中程時間窗口和長程時間窗口,分別用于捕獲不同時間尺度的動作特性;對所述短程時間窗口內的關鍵關節坐標序列,提取瞬時變化特征;對所述中程時間窗口內的關鍵關節坐標序列,提取完整動作單元特征;對所述長程時間窗口內的關鍵關節坐標序列,提取節奏模式特征;以及融合所述瞬時變化特征、所述完整動作單元特征和所述節奏模式特征,生成綜合的多尺度時序特征; 計算所述關鍵關節的重要性權重具體包括:基于人體骨骼結構建立關鍵關節連接拓撲圖;計算當前幀中各關鍵關節間的相對位置關系;基于所述相對位置關系,生成關鍵關節間的注意力分數;識別當前樂器類型和演奏狀態;以及根據所述樂器類型和所述演奏狀態,對與演奏相關的關鍵關節的注意力分數進行增強,生成最終的關鍵關節重要性權重; 所述獲取音樂表演姿態實時驅動處理流程中的采集延遲信息、處理延遲信息和傳輸延遲信息,并基于延遲信息調整預測參數具體包括:實時監測視頻采集延遲信息、處理延遲信息和網絡傳輸延遲信息;將所述延遲信息編碼為條件向量;基于不同的延遲量級,設置多個預測分支;以及根據當前實際延遲情況,動態調整各預測分支的權重,生成適應當前系統狀態的預測參數。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人江西師范大學,其通訊地址為:330200 江西省南昌市南昌縣紫陽大道99號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。