買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉北京郵電大學申請的專利基于預訓練模型指導微調的半監督少樣本時間序列異常檢測與分類的系統和方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116186606B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310092594.2，技術領域涉及：G06F18/241；該發明授權基于預訓練模型指導微調的半監督少樣本時間序列異常檢測與分類的系統和方法是由戚琦;王興宇;王程森;王敬宇;張磊;王晶設計研發完成，并于2023-01-29向國家知識產權局提交的專利申請。

本基于預訓練模型指導微調的半監督少樣本時間序列異常檢測與分類的系統和方法在說明書摘要公布了：基于預訓練模型指導微調的半監督少樣本時間序列異常檢測與分類的系統，包括如下模塊：數據輸入與預處理模塊、模型預訓練模塊、指導微調模塊、異常檢測模塊、模型模塊和存儲模塊；基于預訓練模型指導微調的半監督少樣本時間序列異常檢測與分類的方法，包括如下操作步驟：1數據輸入與預處理模塊對時間序列數據進行預處理；2模型模塊進行模型預訓練；3指導微調模塊指示模型模塊進行指導微調；4異常檢測模塊融合訓練好的預訓練模型與微調完畢的指導向量，指示模型模塊進行異常檢測和分類任務。

本發明授權基于預訓練模型指導微調的半監督少樣本時間序列異常檢測與分類的系統和方法在權利要求書中公布了：1.基于預訓練模型指導微調的半監督少樣本時間序列異常檢測與分類的系統，其特征在于：所述系統包括如下模塊： 數據輸入與預處理模塊：該模塊的功能是對大量的無標簽時間序列數據、少樣本有標簽時間序列數據和待檢測的時間序列數據進行預處理；所述的預處理包括但不限于如下操作：數據清洗、特征選擇、數據規范化、滑動時間窗口劃分；所述時間序列數據包括CPU占用率、TCP握手時延和內存占用率； 所述數據清洗操作是指：對原始序列，刪除不合法的數值； 所述特征選擇操作是指：對完成數據清洗的多維時間序列進行特征選擇，刪除多維時間序列中對任務沒有意義序列，包括全0序列、純平穩序列； 所述數據規范化操作是指：對特征選擇完的時間序列數據進行零均值標準化，即對特征選擇完的時間序列數據減該時間序列數據的均值，除以該時間序列數據的標準差； 所述滑動時間窗口劃分操作是指：對時間序列數據進行滑動時間窗口劃分，使其劃分為多個固定大小的時間窗口w，每個時間窗口看做一個向量，多個向量組成一個矩陣； 模型預訓練模塊：該模塊的功能是向所述的數據輸入與預處理模塊請求無標簽時間序列數據，指示模型模塊進行模型預訓練；模型模塊的模型預訓練完畢后，模型預訓練模塊向存儲模塊請求保存預訓練好的預訓練模型，存儲模塊返回是否保存成功； 所述的模型預訓練包括兩種預訓練任務，即掩碼時間序列建模預訓練任務MTM和連續時間序列推斷預訓練任務CTI； 所述的掩碼時間序列建模預訓練任務MTM的內容是：對已經完成預處理的時間序列數據隨機掩碼一定比例的時間序列數據，掩碼時間序列建模預訓練任務的訓練目標是讓模型輸出被掩碼的時間序列數據； 所述的連續時間序列推斷預訓練任務CTI的內容是：訓練模型對時間序列數據的推斷能力，即判斷兩個時間序列段是否是來自同一時間序列的連續段； 在所述的掩碼時間序列建模預訓練任務MTM中，隨機掩碼一定比例的時間序列數據是通過構造一個掩碼矩陣來實現的，的每個元素mij表示一個布爾掩碼，代表第i個時間序列的第j個時間窗口wij是否被掩碼，如果時間窗口wij沒有被掩碼，則mij＝1，否則mij＝0； 在所述的連續時間序列推斷預訓練任務CTI中，通過構造一個分割標記矩陣來表示時間序列數據是否需要進行推斷任務，分割標記矩陣的每個元素為cij，具體定義如下：cij代表時間窗口wij的位置是否是連續時間序列的分割點，即第i個時間序列的第j個時間窗口wij是否需要進行推斷任務；cij＝0代表不需要進行推斷任務；cij＝1代表需要進行推斷任務； 所述模型預訓練模塊在進行模型的預訓練時，所采用的總損失函數Ltotal定義如下： Ltotal＝αLMTM+1-αLCTI 上式中，α為比例參數，范圍是[0,1]； 上式中，LMTM表示掩碼時間序列建模預訓練任務的損失函數，LCTI表示連續時間序列推斷預訓練任務的損失函數； LMTM具體定義如下： 上式中，表示預訓練數據集中的無標簽時間序列數據的嵌入向量矩陣，εi表示所述的嵌入向量矩陣中的第i個行向量，代表所述無標簽時間序列數據的第i個時間窗口wi的嵌入向量；E[]代表數學期望，yij表示所述嵌入向量εi內的第j個分量的真實值，表示嵌入向量εi內的第j個分量的掩碼重建值；||εi||表示所述嵌入向量εi的長度； LCTI具體定義如下： 上式中，y^是模型預測樣本是正樣本的概率；y是樣本標簽，如果樣本屬于正樣本，取值為1，否則取值為0；E[]代表數學期望； 指導微調模塊：該模塊的功能是首先向存儲模塊請求讀取預訓練模型，存儲模塊返回訓練好的預訓練模型；然后指導微調模塊向所述的數據輸入與預處理模塊請求有標簽時間序列數據，指示模型模塊進行指導微調；指導微調完畢后，指導微調模塊向存儲模塊請求指導向量的存儲，存儲模塊返回是否保存成功； 異常檢測模塊：該模塊的功能是首先向所述的數據輸入與預處理模塊請求待檢測的時間序列數據；向存儲模塊請求讀取訓練好的預訓練模型，存儲模塊返回訓練好的預訓練模型；向存儲模塊請求讀取微調完畢的指導向量，存儲模塊返回微調完畢的指導向量；然后異常檢測模塊融合所述的訓練好的預訓練模型與微調完畢的指導向量，指示模型模塊進行異常檢測和分類任務；檢測完畢后輸出異常檢測和分類的結果； 模型模塊：該模塊的功能是：根據所述的模型預訓練模塊的指令，執行模型的預訓練操作；根據所述的指導微調模塊的指令，執行指導微調的操作；根據所述的異常檢測模塊的指令，執行異常檢測的操作；所述的模型模塊由編碼器網絡、解碼器網絡構成；所述的編碼器網絡由一個嵌入編碼子層和NE個編碼器塊堆疊而成；所述的解碼器網絡由一個嵌入編碼子層和ND個解碼器塊堆疊而成；所述的編碼器網絡的嵌入編碼子層和所述的解碼器網絡的嵌入編碼子層結構完全相同； 存儲模塊：該模塊的功能是負責存儲預訓練好的預訓練模型和微調完畢的指導向量； 所述的編碼器網絡的編碼器塊的功能是學習每個時間序列數據有意義的表示，將時間序列數據的嵌入矩陣編碼為隱藏表示空間中的特征向量Hen，使所述的解碼器網絡能夠進行MTM任務和CTI任務，并且為后續的異常檢測和分類任務做準備；所述的特征向量Hen公式如下： 上式中，Encoders表示所述的編碼器網絡的NE個編碼器塊；所述的編碼器塊主要由三部分組成：多頭多尺度注意力子層、多尺度注意力融合子層、前饋全連接子層；在所述的多尺度注意力融合子層和所述的前饋全連接子層后都進行殘差和歸一化； 所述的解碼器網絡的功能是執行所述的MTM任務、CTI任務和異常檢測和分類任務；解碼器網絡的輸入為所述嵌入編碼子層為解碼器網絡生成的嵌入矩陣和所述編碼器網絡輸出的對時間序列數據編碼生成的特征向量Hen，解碼器網絡時刻t的輸出為： 上式中，Decoders表示所述的解碼器網絡的ND個解碼器塊；所述的解碼器塊主要由四部分組成：掩碼多頭多尺度注意力子層、多尺度注意力融合子層、多頭注意力子層和前饋全連接子層；在所述的掩碼多頭多尺度注意力子層、多尺度注意力融合子層和前饋全連接子層后都進行殘差和歸一化； 所述的編碼器塊和解碼器塊中的前饋全連接子層結構完全相同，均采用全連接線性神經網絡，由兩個線性變換組成，中間使用ReLU函數激活；公式如下： 其中，x1表示前饋全連接子層的輸入，b1、b2是可學習的參數； 所述的編碼器塊和解碼器塊中的殘差和歸一化操作的具體內容是： 殘差連接是將輸入數據x2直接饋送到子層模塊，防止過多堆疊模塊層數導致過擬合和學習失??；歸一化采用層歸一化，只是在層的維度進行歸一化；殘差和歸一化的總體公式為： ResNormx2＝LayerNormx2+Sublayerx2 其中，ResNormx2表示殘差和歸一化操作的結果；LayerNorm表示層歸一化；Sublayerx2表示子層模塊的輸出； 所述的多頭多尺度注意力子層和掩碼多頭多尺度注意力子層具有相同的結構，均包括高斯核注意力單元、多頭可解釋指導注意力單元和圖注意力單元； 所述的多頭多尺度注意力子層和掩碼多頭多尺度注意力子層均從小、中和大三個尺度對時間序列數據進行處理，即：使用所述的高斯核注意力單元對時間序列數據窗口內的小尺度時間序列數據進行處理，得到結果使用多頭可解釋指導注意力單元對時間序列數據窗口間的中尺度的時間序列數據進行處理，得到結果使用圖注意力單元對時間序列數據間的大尺度時間序列數據進行處理，得到結果 所述的高斯核注意力單元對時間序列數據窗口內的小尺度時間序列進行處理的具體內容是： 上式中，[α'ij]代表一個N行N列的矩陣，N等于窗口的大小|w|，矩陣的每個元素是α'ij；exp代表指數函數；尺度變量矩陣Σ中第i行第j列的元素σij，是可學習的尺度變量，對應于時間序列的第i個窗口的第j個分量；所述尺度變量矩陣Σ用全連接線性神經網絡實現，即其中Wσ是所述全連接線性神經網絡的可學習的參數，是所述嵌入編碼子層輸出的時間序列數據的嵌入矩陣； 所述的多頭可解釋指導注意力單元由Nh個單頭可解釋指導注意力單元組成；所述的單頭可解釋指導注意力單元由單頭可解釋注意力子單元和可插拔、可學習的注意力指導子單元構成； 所述的使用多頭可解釋指導注意力單元對時間序列數據窗口間的中尺度的時間序列數據進行處理是指對時間序列數據窗口間的中尺度的時間序列數據進行處理，具體內容是： 上式中，是一個注意力分數矩陣，矩陣的每一項為多頭可解釋指導注意力分數；Nh是所述的多頭可解釋指導注意力單元的頭總數；WO是可學習的參數，用于最終多頭的線性映射；Qh表示第h個頭的單頭可解釋指導注意力單元的查詢矩陣，Kh表示第h個頭的單頭可解釋指導注意力單元的鍵矩陣；dk表示編碼器塊或解碼器塊的隱藏層向量的維度，softmax表示softmax函數，[；]代表矩陣連接操作；是由所述的可插拔、可學習的注意力指導子單元為第h個頭的單頭可解釋指導注意力單元的鍵矩陣Kh所添加的鍵指導矩陣，使用全連接線性神經網絡變換得到； 所述使用圖注意力單元對時間序列間的大尺度時間序列進行處理的具體內容是：圖注意力能夠對任意圖中節點之間的關系進行建模，每條時間序列看做圖中的一個節點，每條邊表示兩條時間序列特征之間的關系；通過這種方式，捕捉多條時間序列之間的關系； 處理結果是一個注意力矩陣，該矩陣的第i行第j列的元素β'ij按照下式進行計算： 上式中，表示連接操作，和WP是可學習參數，LeakyReLU是非線性激活函數；xi和xj分別表示第i條和第j條時間序列，n表示時間序列的個數； 所述的多尺度注意力融合子層的功能是對所述的多頭多尺度注意力子層所處理得到的三個尺度的特征進行融合，具體計算方法如下； 按照下式，計算融合后的注意力分數矩陣 上式中，LayerNorm是層歸一化操作； η1＝ELUW4γ1+W5γ2+W6γ3+b4 η2＝W7η1+b5 上式中，GLUI代表用于控制輸入的輸入門控線性單元，GLUO代表用于控制輸出的輸出門控線性單元： GLUIη＝softmaxW8η+b6⊙W9η+b7 GLUOη＝sigmoidW10η+b8⊙W11,ωη+b9 ELU代表指數線性單元；W1到W11和b1到b9為可學習的參數； 按照下式計算所述的多尺度注意力融合子層的輸出X'： 其中，V表示所述的多頭可解釋指導注意力單元的值矩陣；[；]代表矩陣連接操作；φV表示由所述的可插拔、可學習的注意力指導子單元為所述的多頭可解釋指導注意力單元的值矩陣V所添加的值指導矩陣。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京郵電大學，其通訊地址為：100876 北京市海淀區西土城路10號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。