湖南大學張輝獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉湖南大學申請的專利基于孿生神經網絡的時間序列相似度度量方法及終端獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119357707B 。
龍圖騰網通過國家知識產權局官網在2025-09-16發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411943130.9,技術領域涉及:G06F18/22;該發明授權基于孿生神經網絡的時間序列相似度度量方法及終端是由張輝;張羽宏宣;別克扎提·巴合提;邱宇;杜瑞;鐘杭;毛建旭;王耀南設計研發完成,并于2024-12-27向國家知識產權局提交的專利申請。
本基于孿生神經網絡的時間序列相似度度量方法及終端在說明書摘要公布了:本發明公開了一種基于孿生神經網絡的時間序列相似度度量方法及終端,對時間序列數據樣本進行兩兩分組配對為時間序列樣本對并標注標簽,將經過配對標注后的時間序列樣本對輸入到使用相同預訓練大模型為分支的孿生神經網絡中,得出時間序列間的相似度作為網絡整體最終的輸出,利用損失函數更新整個孿生神經網絡與微調預訓練大模型結合的網絡權重。本發明針對小樣本場景下的時間序列數據相似度度量任務,利用預訓練大模型在時間序列領域表現出的強大能力,結合孿生神經網絡在小樣本相似度度量的優勢,進行時間序列數據的相似度度量,只需要少量樣本即可完成時間序列相似度的度量,能夠全方位提取時間序列的特征,作為相似度度量的依據。
本發明授權基于孿生神經網絡的時間序列相似度度量方法及終端在權利要求書中公布了:1.基于孿生神經網絡的時間序列相似度度量方法,用于風力發電機組的時間序列數據相似度度量,所述時間序列數據包括風力發電機組的發電功率、風力發電機組在各高度風速、風力發電機組的溫度、濕度,其特征在于,包括如下步驟: S1、對獲取的時間序列數據樣本進行兩兩分組配對,將配對的每個時間序列樣本對根據時間序列數據樣本是否相似進行標注標簽; S2、將時間序列樣本對輸入孿生神經網絡進行訓練,所述孿生神經網絡的兩個分支使用相同的預訓練大模型對時間序列樣本對的兩個時間序列數據樣本進行處理,所述預訓練大模型均具有位置嵌入層,所述位置嵌入層對輸入的時間序列數據樣本先進行時間序列的位置嵌入,采用Transformer正余弦位置編碼對時間序列數據樣本每個時間步的位置進行編碼,所述預訓練大模型通過每個時間步的位置編碼感知時間序列的不同時間步,通過預訓練大模型之間共享的多頭注意力層得出時間序列數據樣本中每個時間步數據的特征向量,所述多頭注意力層通過如下子步驟輸出時間序列數據樣本中不同時間步數據的特征向量: S21、使用不同的權重矩陣將輸入的時間序列數據樣本投影到查詢、鍵和值空間: Q=WQ·τ,J=WK·τ,V=WV·τ, 其中,τ為輸入的時間序列數據樣本,Q、K、V為時間序列數據樣本分別到查詢、鍵和值空間的投影,WQ、WK、WV分別為查詢空間權重矩陣、鍵空間權重矩陣和值空間權重矩陣; S22、通過下式計算時間序列數據樣本中每個時間步的查詢和鍵的點積,并通過softmax歸一化得到注意力權重: 其中,AttentionQ,K,V為注意力權重,是鍵的維度,T表示時間序列數據樣本到鍵空間的投影轉置; S23、使用注意力權重對時間序列數據樣本到值空間的投影V進行加權求和,得到多頭注意力層不同頭的輸出表示如下: Zι=AttentionQ,K,Vι·V, Zι表示多頭注意力層的第ι個頭輸出的時間序列數據,AttentionQ,K,Vι表示多頭注意力層的第ι個頭的注意力權重; S24、將多頭注意力層所有頭的輸出拼接起來并投影回原始維度,得到多頭注意力層的最終輸出如下: h=MultiHeadQ,K,V=ConcatZ1,Z2,...,Zι·Wo, 其中,h=MultiHeadQ,K,V為多頭注意力層最終輸出的時間序列數據特征向量,其包含了所有注意力頭捕捉時間序列數據的依賴關系,組成時間序列數據樣本中不同時間步數據之間的全局依賴關系,Z1,Z2,...,Zι是多頭注意力層的ι個不同頭的輸出,Wo是輸出投影矩陣; 在孿生神經網絡加入Adapters層對預訓練大模型進行微調,所述Adapters層插入在多頭注意力層后,為兩層的瓶頸結構,所述多頭注意力層最終輸出的時間序列數據首先經過下降層降維,然后經過非線性激活函數,最后經過上升層將降維后時間序列數據特征再投影回高維空間輸出; 所述Adapters層的輸出與多頭注意力層最終輸出的時間序列數據通過下式以殘差連接的形式相加: h′=h+Adaptersh, 其中h為多頭注意力層最終輸出的時間序列數據,Adaptersh為Adapters層的輸出,h’為多頭注意力層和Adapters層共同的輸出; S3、采用特征池化的方式整合時間序列數據樣本中所有時間步數據的特征向量,所述時間序列數據樣本經多頭注意力層和Adapters層輸出后,首先輸入由兩層全連接網絡組成的前饋網絡,對時間序列數據樣本中每個時間步數據的特征表示進行逐步非線性變換,然后通過下式分別整合時間序列樣本對內兩個時間序列數據樣本所有時間步數據的特征,分別提取時間序列數據樣本最終的全局表示: 其中,Γ表示時間序列數據樣本所有時間步數據經過平均池化操作后生成的特征向量,是時間序列數據樣本中所有時間步數據的全局表示;ht″為前饋網絡輸出的時間序列數據樣本在第t個時間步數據的特征向量,表示時間序列數據樣本的長度,即包含的時間步數量; S4、使用時間序列數據樣本池化后的特征向量之間的歐氏距離作為時間序列樣本對的相似度度量的最終輸出,結合步驟S1標注的標簽對比損失函數來優化微調后的預訓練大模型。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人湖南大學,其通訊地址為:410082 湖南省長沙市岳麓區麓山南路2號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。