（中國民航大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300）
0 引言
得益于傳感器及監(jiān)控技術(shù)的進(jìn)步，現(xiàn)代工業(yè)設(shè)備的生產(chǎn)運(yùn)行狀態(tài)和運(yùn)行環(huán)境能夠被實時記錄和感知，積累并產(chǎn)生了海量多維時間序列（MTS,multivariate time series）數(shù)據(jù)[1]。例如，云服務(wù)器的CPU利用率、內(nèi)存占用率、網(wǎng)絡(luò)流量等監(jiān)測數(shù)據(jù)，航空器的速度、高度、俯仰角度等傳感器數(shù)據(jù)，反映航天器運(yùn)行狀態(tài)的遙測信號，工廠生產(chǎn)機(jī)器的溫度、轉(zhuǎn)速等監(jiān)測數(shù)據(jù)。這些MTS 數(shù)據(jù)的異常取值片段往往意味著設(shè)備故障、操作人員失誤等特殊情況的發(fā)生，也可能表示生產(chǎn)環(huán)境中存在隱性安全隱患。這些異常如不能被有效識別，很可能造成經(jīng)濟(jì)損失。工業(yè)領(lǐng)域MTS 數(shù)據(jù)有如下特點：體量大、連續(xù)采樣、價值密度低、動態(tài)性強(qiáng)；MTS 各維度之間具有復(fù)雜的時空耦合關(guān)系；工業(yè)設(shè)備通過其軟件控制邏輯往往與其運(yùn)行環(huán)境、操作人員及相關(guān)設(shè)備系統(tǒng)有復(fù)雜交互，反映其運(yùn)行狀態(tài)的MTS 取值具有隨機(jī)性[2]。另外，由于工業(yè)領(lǐng)域MTS 異常樣本相對較少、標(biāo)注異常代價較高，研究者大多關(guān)注基于無監(jiān)督的MTS異常檢測方法。傳統(tǒng)的主成分分析、高斯混合模型、一類支持向量機(jī)等機(jī)器學(xué)習(xí)方法無法很好地建模工業(yè)領(lǐng)域MTS 數(shù)據(jù)的復(fù)雜性質(zhì)。由于深度學(xué)習(xí)強(qiáng)大的數(shù)據(jù)表征能力，近年來，基于深度學(xué)習(xí)的無監(jiān)督MTS 異常檢測研究得到了廣泛關(guān)注。MTS 異常檢測包括序列級和瞬時級異常發(fā)現(xiàn)。序列級異常[3-5]是指MTS 樣本整個序列或其子序列區(qū)別于多數(shù)樣本。瞬時級異常是指在某個時間點或短時間窗內(nèi)的異常。本文模型屬于瞬時級異常檢測模型。
圍繞如何建模工業(yè)領(lǐng)域MTS 時序依賴性和隨機(jī)性，研究者提出了一些深度學(xué)習(xí)模型[2,6-10]。這些模型的訓(xùn)練目標(biāo)均為學(xué)習(xí)正常MTS 樣本集的時序分布。其中，大部分方法均結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN,recurrent neural network）和變分自編碼器（VAE,variational autoencoder）建模MTS 數(shù)據(jù)的時序依賴性和隨機(jī)性。但已有模型存在如下問題。
1) 采用RNN 的隱向量實現(xiàn)VAE 隱空間中隨機(jī)變量間的時序依賴性，然而RNN 難以捕獲序列數(shù)據(jù)的長時依賴性，這降低了學(xué)習(xí)序列數(shù)據(jù)分布的能力。
2) 計算隨機(jī)變量的近似后驗分布和先驗分布的網(wǎng)絡(luò)結(jié)構(gòu)相同，這使2 種分布KL 散度（Kullback-Leibler divergence）距離較小，增加了模型的訓(xùn)練難度�；诰�性高斯?fàn)顟B(tài)空間模型（LGSSM,linear Gaussian state space model）計算隨機(jī)變量的先驗分布無法實現(xiàn)隨機(jī)變量間的非線性轉(zhuǎn)換。
3) 基于RNN 的生成網(wǎng)絡(luò)僅依賴于隨機(jī)變量的采樣值，沒有利用RNN 推斷網(wǎng)絡(luò)的確定性隱向量。
針對以上問題，本文提出一種面向工業(yè)領(lǐng)域MTS 異常檢測的隨機(jī)Transformer（ST-MTS-AD,stochastic Transformer for MTS anomaly detection）模型。該模型由Transformer 編碼器輸出的表示各時刻MTS 長時依賴特征和上一時刻隨機(jī)變量的采樣值生成當(dāng)前時刻隨機(jī)變量的近似后驗分布，使ST-MTS-AD 可借用Transformer 編碼器輸出的長時依賴特征在隱空間中傳播隨機(jī)變量間的長時依賴性，采用門控轉(zhuǎn)換函數(shù)（GTF,gated transition function）生成隨機(jī)變量的先驗分布并實現(xiàn)隨機(jī)變量間的非線性轉(zhuǎn)換，通過將Transformer 編碼器輸出的長時依賴特征和隨機(jī)變量采樣值輸入多層感知器（MLP,multilayer perceptron）重構(gòu)MTS 各時刻取值分布。在4 個工業(yè)領(lǐng)域公開MTS 數(shù)據(jù)集上的實驗表明ST-MTS-AD 具有較好的異常檢測效果。
1 相關(guān)研究現(xiàn)狀
多維時間序列異常檢測是時間序列分析領(lǐng)域中的重要任務(wù)之一，旨在尋找不符合規(guī)則的或出現(xiàn)偏差的序列片段[11]。目前，基于深度學(xué)習(xí)的MTS瞬時級異常檢測方法如下。
1) 基于預(yù)測和重構(gòu)的確定性方法。Hundman等[12]設(shè)計了基于長短時記憶（LSTM,long short-term memory）網(wǎng)絡(luò)的航天器遙測信號異常檢測方法，通過預(yù)測誤差確定異常，其還提出了一種非參數(shù)動態(tài)異常檢測閾值確定方法，能在誤報率和漏報率之間達(dá)到平衡。Zhang 等[13]提出了面向多傳感器MTS 異常檢測的深度卷積自編碼記憶網(wǎng)絡(luò)，將MTS 的時空嵌入表示和重構(gòu)誤差輸入線性自回歸模型和基于注意力機(jī)制的雙向LSTM 網(wǎng)絡(luò)，由重構(gòu)損失和預(yù)測損失確定MTS 異常。Malhotra 等[14]提出了一種基于LSTM 的自編碼器模型，旨在重建正常時間序列，使用重構(gòu)誤差進(jìn)行異常檢測。Zhang等[15]提出了一種多尺度卷積循環(huán)自編碼器（MSCRED），首先構(gòu)建能表征MTS 不同變量間相關(guān)性的多尺度簽名矩陣；然后采用卷積編碼器對簽名矩陣進(jìn)行編碼，使用基于注意力的卷積LSTM 捕獲MTS 時序依賴性；最后基于卷積解碼器重建簽名矩陣，并利用簽名矩陣的重構(gòu)誤差診斷異常。Audibert 等[16]設(shè)計了包含一個編碼器和2 個解碼器的自編碼器網(wǎng)絡(luò)結(jié)構(gòu)，采用對抗學(xué)習(xí)策略訓(xùn)練網(wǎng)絡(luò)，避免自編碼器無法通過重構(gòu)誤差區(qū)分正常樣本與異常樣本的現(xiàn)象，該方法沒有使用循環(huán)神經(jīng)網(wǎng)絡(luò)從而獲得了較快的訓(xùn)練效率，但無法建模MTS 的時序依賴關(guān)系。上述方法以預(yù)測或重構(gòu)為訓(xùn)練目標(biāo)刻畫正常MTS 樣本的特征，由重構(gòu)誤差和預(yù)測誤差檢測MTS 異常，無法建模MTS 的隨機(jī)性。
2) 基于重構(gòu)的隨機(jī)性方法。Zong 等[6]提出一種用于無監(jiān)督異常檢測的深度自編碼高斯混合模型（DAGMM,deep autoencoding Gaussian mixture model），通過自編碼器獲得訓(xùn)練樣本的低維表示，將低維表示和樣本重構(gòu)誤差拼接形成的向量輸入用來訓(xùn)練GMM 參數(shù)的估計網(wǎng)絡(luò)，由GMM 模型計算的樣本能量值確定樣本是否異常。Deng 等[7]采用圖卷積網(wǎng)絡(luò)捕獲MTS 變量間交互特征，由自注意力機(jī)制提取MTS 長時依賴特征，基于VAE 的重構(gòu)能力進(jìn)行MTS 異常檢測。Park 等[8]提出了基于LSTM 和VAE 的多模態(tài)MTS 異常檢測方法，以LSTM 網(wǎng)絡(luò)結(jié)構(gòu)作為VAE 中的生成網(wǎng)絡(luò)和推斷網(wǎng)絡(luò)表示MTS 的隨機(jī)性和時序依賴性。文獻(xiàn)[7-8]通過自注意力機(jī)制或RNN 捕獲MTS 的時序依賴性，并且每個時間點通過重參數(shù)化采樣得到的隨機(jī)變量具有隨機(jī)性，但隨機(jī)變量之間沒有時序依賴性。
為此，研究者提出了基于VAE 的序列數(shù)據(jù)生成模型[17-19]，這些方法均采用變分推斷技術(shù)學(xué)習(xí)時序數(shù)據(jù)分布，并且可以表示隨機(jī)變量間的時序依賴性。Chung 等[18]提出一種變分循環(huán)神經(jīng)網(wǎng)絡(luò)（VRNN,variational recurrent neural network）模型。VRNN的推斷網(wǎng)絡(luò)由時序數(shù)據(jù)當(dāng)前時刻輸入值和上一時刻RNN 隱向量生成當(dāng)前時刻隨機(jī)變量的近似后驗分布。VRNN 通過RNN 隱向量的迭代更新實現(xiàn)隨機(jī)變量間的時序依賴性。VRNN 的生成網(wǎng)絡(luò)由當(dāng)前時刻隨機(jī)變量采樣值和上一時刻RNN 隱向量生成時序數(shù)據(jù)取值分布。Dai 等[9]提出了面向內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)多元關(guān)鍵性能指標(biāo)時序數(shù)據(jù)的異常檢測方法SDFVAE（static and dynamic factorized VAE），將VRNN 中的隨機(jī)變量分解為動態(tài)和靜態(tài)隨機(jī)變量，其中，靜態(tài)隨機(jī)變量刻畫內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)性能指標(biāo)取值的時序不變性。SDFVAE 由雙向LSTM網(wǎng)絡(luò)學(xué)習(xí)靜態(tài)隨機(jī)變量的近似后驗分布，動態(tài)隨機(jī)變量的近似后驗分布生成方式與VRNN 相同。Li等[10]提出了基于VRNN 的MTS 異常檢測方法，在損失函數(shù)中引入使相鄰時刻點時序取值生成分布相近的正則化項，使模型具有更好的抗噪能力。Fraccaro 等[19]提出了一種融合狀態(tài)空間模型（SSM,state space model）和RNN 的隨機(jī)循環(huán)神經(jīng)網(wǎng)絡(luò)（SRNN,stochastic recurrent neural network）。SRNN模型通過依賴于RNN 隱向量和SSM 隨機(jī)變量采樣值的神經(jīng)網(wǎng)絡(luò)實現(xiàn)SSM 隨機(jī)狀態(tài)之間的非線性轉(zhuǎn)換，使SSM 可以利用RNN 表示時序依賴關(guān)系的隱向量在隱空間中傳播隨機(jī)性。SRNN 與VRNN 的區(qū)別在于RNN 隱向量的更新不依賴于各時刻的隨機(jī)變量，能直接建模每個時刻隨機(jī)變量間的時序依賴性，實現(xiàn)了RNN 確定性隱變量和SSM 隨機(jī)變量的分離。文獻(xiàn)[19]表明SRNN 能夠比VRNN 更好地學(xué)習(xí)時序數(shù)據(jù)的分布。Su 等[2]提出基于SRNN 的MTS異常檢測模型，該模型的推斷網(wǎng)絡(luò)結(jié)構(gòu)與SRNN 相同，在此基礎(chǔ)上采用平面歸一化流技術(shù)學(xué)習(xí)各時刻非高斯分布的近似后驗分布。在生成網(wǎng)絡(luò)中，該模型由依賴于隨機(jī)變量采樣值的RNN 生成時序數(shù)據(jù)取值分布，采用LGSSM 計算隨機(jī)變量的先驗分布并實現(xiàn)隨機(jī)變量間的時序依賴性。
2 ST-MTS-AD 模型設(shè)計
2.1 相關(guān)符號定義及ST-MTS-AD 網(wǎng)絡(luò)結(jié)構(gòu)
MTS 數(shù)據(jù)集記為k=[k1,k2,…,kN] ∈RM×N，N為k的持續(xù)時間長度，每個觀測值kτ∈RM是在時間點τ(τ≤N)的M維向量。使用窗口大小為w、滑動步幅為l的滑動窗口對k進(jìn)行預(yù)處理，每個滑動窗口為
本文設(shè)計的ST-MTS-AD 模型基于VAE 的變分推斷技術(shù)學(xué)習(xí)MTS 時序分布，其主要優(yōu)勢在于使用Transformer 編碼器中的多頭自注意力機(jī)制生成MTS各個時刻點的隨機(jī)分布，實現(xiàn)了VAE 隱空間中隨機(jī)變量間的長時依賴關(guān)聯(lián)。而且ST-MTS-AD 的生成網(wǎng)絡(luò)為MLP，降低了模型的復(fù)雜性。ST-MTS-AD 模型結(jié)構(gòu)如圖1 所示。在推斷網(wǎng)絡(luò)中，Transformer 編碼器將觀測序列x1:T∈RP×T映射為特征e1:T=[e1,…,et,…,eT] ∈Rd×T，d為Transformer 編碼器輸出維度，e1:T捕獲x1:T中觀測變量xt間的長時依賴性，et(1 ≤t≤T)表示e1:T在t時刻的取值向量。將t-1 時刻隨機(jī)變量zt-1的采樣值和et串接后輸入MLP 生成t時刻隨機(jī)變量zt的近似后驗分布，實現(xiàn)隨機(jī)變量zt-1和zt的非線性轉(zhuǎn)換和時序依賴關(guān)聯(lián)。記T個隨機(jī)變量z1,…,zT為z1:T。在生成網(wǎng)絡(luò)中，t時刻隨機(jī)變量zt采樣值和取值向量et輸入MLP 生成的取值分布。T個時刻觀測變量xt的重構(gòu)值,…,表示為。t-1 時刻隨機(jī)變量zt-1的采樣值輸入GTF生成t時刻隨機(jī)變量zt的先驗分布，z0為隨機(jī)初始化的向量。ST-MTS-AD 通過最大化證據(jù)下界優(yōu)化推斷網(wǎng)絡(luò)和生成網(wǎng)絡(luò)參數(shù)，由各時刻x′t的重構(gòu)概率似然確定x1:T異常片段。
2.2 ST-MTS-AD 推斷網(wǎng)絡(luò)設(shè)計
Transformer 網(wǎng)絡(luò)中的自注意力機(jī)制容易捕獲序列數(shù)據(jù)中長時依賴特征，文獻(xiàn)[20]基于Transformer 編碼器設(shè)計了MTS 的高質(zhì)量表示學(xué)習(xí)模型。ST-MTS-AD 模型將Transformer 編碼器作為VAE 的推斷網(wǎng)絡(luò)，捕獲觀測序列x1:T中各觀測變量xt間的長時依賴性。為了實現(xiàn)隨機(jī)變量zt-1和zt的非線性轉(zhuǎn)換和時序依賴關(guān)聯(lián)，將t-1 時刻隨機(jī)變量zt-1的采樣值和Transformer 編碼器在t時刻的輸出et串接后生成t時刻隨機(jī)變量zt。推斷網(wǎng)絡(luò)的目標(biāo)是學(xué)習(xí)隨機(jī)變量z1:T的真實后驗分布，ST-MTS-AD通過推斷網(wǎng)絡(luò)得到z1:T的近似后驗分布，如式(1)所示。
ST-MTS-AD 模型推斷網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，即式(1)中t時刻近似后驗分布網(wǎng)絡(luò)結(jié)構(gòu)。
圖2 ST-MTS-AD 模型推斷網(wǎng)絡(luò)結(jié)構(gòu)
e1:T計算過程如下。按式(2)對x1:T進(jìn)行位置編碼，編碼結(jié)果記為。
其中，Wx∈Rd×P為網(wǎng)絡(luò)參數(shù)；b∈R1×T為偏置項；wp∈Rd×T為位置編碼矩陣，由正弦函數(shù)在偶數(shù)位置計算得到的位置信息和余弦函數(shù)在奇數(shù)位置計算獲得的位置信息結(jié)合形成，具體形式如下
由式(4)～式(10)所示的多頭注意力機(jī)制計算x1:T中觀測變量間長時依賴特征e1:T。
2.3 ST-MTS-AD 生成網(wǎng)絡(luò)設(shè)計
ST-MTS-AD 生成網(wǎng)絡(luò)由MLP 構(gòu)成，目的是重構(gòu)觀測序列。其與文獻(xiàn)[2,9]不同之處在于，由隨機(jī)變量zt采樣值和推斷網(wǎng)絡(luò)中Transformer 編碼器在t時刻的輸出et生成t時刻的觀測變量，而不僅依賴隨機(jī)變量zt。這是由于et包含了來自輸入觀測序列x1:T的全局時序特征，能夠更好地重構(gòu)觀測序列。同時，MLP 網(wǎng)絡(luò)結(jié)構(gòu)簡單，降低了ST-MTS-AD 網(wǎng)絡(luò)的復(fù)雜性。ST-MTS-AD 生成網(wǎng)絡(luò)的聯(lián)合概率分布為
圖3 ST-MTS-AD 模型生成網(wǎng)絡(luò)結(jié)構(gòu)
其中，ξ～N(0,I)，⊙表示向量元素乘積，和分別表示由圖2 推斷網(wǎng)絡(luò)生成的zt近似后驗分布均值和標(biāo)準(zhǔn)方差。
圖4 GTF 網(wǎng)絡(luò)結(jié)構(gòu)
式(16)表示具有ReLU 和Sigmoid 激活函數(shù)的MLP，式(17)表示具有ReLU 激活函數(shù)的MLP，式(18)表示Linear 層，式(20)表示具有ReLU 和Softplus 激活函數(shù)的MLP。
2.4 優(yōu)化目標(biāo)
ST-MTS-AD 模型的優(yōu)化目標(biāo)為最大化式(21)所示的證據(jù)下界（ELBO,evidence lower bound）。
算法1ST-MTS-AD 模型的訓(xùn)練算法
3 實驗
3.1 實驗數(shù)據(jù)集及環(huán)境
實驗采用以下4 個公開的數(shù)據(jù)集：SMD（server machine dataset）來自一家大型互聯(lián)網(wǎng)公司為期5 周的服務(wù)器檢測數(shù)據(jù)集[2]；MSL（mars science laboratory）和SMAP（soil moisture active passive satellite）來自NASA 航天器監(jiān)測系統(tǒng)報告中的遙感數(shù)據(jù)[12]；SWaT（secure water treatment）來自一個水處理廠信息物理系統(tǒng)為期11 天的監(jiān)控數(shù)據(jù)集[3]。各數(shù)據(jù)集具體的描述如表1 所示。
表1 各數(shù)據(jù)集具體的描述
實驗硬件環(huán)境如下：Ubuntu16.04 操作系統(tǒng)，Inter Xeon Gold 5220R CPU，NVIDIA Tesla T4 顯卡。軟件環(huán)境如下：Python3.6，Pytorch 1.10.1。
3.2 實驗?zāi)Ｐ蛥?shù)設(shè)置和評價指標(biāo)
ST-MTS-AD 模型在SMD、SMAP、MSL、SWaT數(shù)據(jù)集上的滑動窗口大小w、滑動步幅l、觀測序列長度T和自注意力頭數(shù)H分別設(shè)為10、10、200和8。根據(jù)數(shù)據(jù)集的維度大小，模型在SMD 和SWaT數(shù)據(jù)集上的Transformer 編碼器輸出維度d分別設(shè)為128 和256，在SMAP 和MSL 數(shù)據(jù)集中設(shè)為64。實驗使用Adam 優(yōu)化器，設(shè)置學(xué)習(xí)率r=0.000 1，批處理大小batch=64，訓(xùn)練周期數(shù)epoch=200。
ST-MTS-AD 目標(biāo)是檢測觀測序列x1:T中觀測變量xt是否異常。在測試集中，若觀測變量xt表示的滑動窗口中某一時間點取值kτ∈RM為異常點，則xt標(biāo)記為異常。對于測試集中的每個觀測變量xt，如果重構(gòu)出的觀測變量被判斷為異常，且xt真實標(biāo)簽也為異常，則記為真陽（TP）。如果重構(gòu)出的觀測變量被判斷為異常，但xt真實標(biāo)簽為正常，則記為假陽（FP）。如果重構(gòu)出的觀測變量被判斷為正常，但xt真實標(biāo)簽為異常，則記為假陰（FN）。如果重構(gòu)出的觀測變量被判斷為正常，且xt真實標(biāo)簽為正常，則記為真陰（TN）。本文使用3 個指標(biāo)來衡量異常檢測模型的性能，分別為精確率Precision、召回率Recall、F1 分?jǐn)?shù)，其中，F(xiàn)1 分?jǐn)?shù)為精確率和召回率的調(diào)和平均數(shù)，F(xiàn)1分?jǐn)?shù)越大表示異常檢測模型的性能越好。
3.3 實驗結(jié)果與分析
選取6 種與ST-MTS-AD 相關(guān)的異常檢測模型進(jìn)行實驗對比，分別為DAGMM[6]、LSTM-VAE[8]、MSCRED[15]、USAD（unsupervised anomaly detection）[16]、OmniAnomaly[2]、SDFVAE[9]。各模型的實驗均采用本文的數(shù)據(jù)預(yù)處理方式，不同模型的性能對比如表2 所示。
從表2 可知，ST-MTS-AD 模型在SMD、SMAP、MSL 和SWaT 數(shù)據(jù)集上的F1 分?jǐn)?shù)分別為0.933 2、0.966 4、0.981 9 和0.834 2，相較于5 種對比模型整體上有較高的提升。在SMD、SMAP、MSL 和SWaT數(shù)據(jù)集上，ST-MTS-AD 模型的F1 分?jǐn)?shù)比MSCRED分別提高了15.6%、10.0%、4.7%和3.3%，ST-MTS-AD模型的F1 分?jǐn)?shù)比USAD 模型分別提高了9.6%、6.9%、15.6%和3.0%，與MSCRED 相比，ST-MTS-AD 在SMD 數(shù)據(jù)集上的F1 分?jǐn)?shù)提高最多，這是因為SMD數(shù)據(jù)集中存在持續(xù)時間短、異常偏差較小的取值片段[9]，MSCRED 模型中的構(gòu)造簽名矩陣無法捕獲這些細(xì)微的異常特征。USAD 雖然采用對抗學(xué)習(xí)策略避免自編碼器無法通過重構(gòu)誤差區(qū)分正常樣本與異常樣本的問題，但其自編碼器網(wǎng)絡(luò)沒有捕獲MTS 的時序依賴特征。實驗結(jié)果也驗證了基于重構(gòu)的隨機(jī)性模型ST-MTS-AD 的異常檢測效果好于基于重構(gòu)的確定性模型MSCRED 和USAD。
表2 ST-MTS-AD 模型與6 種模型的性能對比
DAGMM 的F1 分?jǐn)?shù)在SMD、SMAP、MSL和SWaT 數(shù)據(jù)集上比ST-MTS-AD 模型分別低8.4%、7.9%、17.7%和2.3%，DAGMM 雖屬于基于重構(gòu)的隨機(jī)性模型，但其自編碼器網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計面向表格數(shù)據(jù)，無法提取 MTS 時序特征。ST-MTS-AD 模型在SMD、SMAP 和MSL 數(shù)據(jù)集上的F1 分?jǐn)?shù)比SDFVAE 分別提高了3.3%、7.8%和12.4%，但在SWaT 數(shù)據(jù)集上的F1 分?jǐn)?shù)比SDFVAE 低 1.8%，這是由于SDFVAE 比ST-MTS-AD 模型有較強(qiáng)的抗噪能力。LSTM-VAE和OmniAnomaly為與ST-MTS-AD最相關(guān)的模型，均為基于VAE 的序列生成模型。在SMD、SMAP、MSL 和SWaT 數(shù)據(jù)集上，ST-MTS-AD 模型的F1分?jǐn)?shù)比LSTM-VAE 模型提高了5.9%、2.8%、7.3%和2.7%，比OmniAnomaly 模型提高了8.6%、11.5%、11.9%和3.8%。這是由于LSTM-VAE 模型無法建模隱空間中隨機(jī)變量之間的時序依賴性。OmniAnomaly 模型基于RNN 各時刻的隱向量實現(xiàn)隨機(jī)變量間時序依賴性，這種機(jī)制無法實現(xiàn)隨機(jī)變量間的長時依賴關(guān)聯(lián)，其采用的基于LGSSM 的隨機(jī)變量先驗分布生成方式無法實現(xiàn)隨機(jī)變量間的非線性轉(zhuǎn)換，且該模型在生成網(wǎng)絡(luò)中僅依賴各時刻隨機(jī)變量的采樣值，沒有利用推斷網(wǎng)絡(luò)RNN 的隱向量信息。
3.4 消融實驗
為了驗證ST-MTS-AD 模型相關(guān)模塊設(shè)計的有效性，將ST-MTS-AD 模型與其3 個變體進(jìn)行對比，3 個變體分別為ST-MTS-AD-1、ST-MTS-AD-2 和ST-MTS-AD-3。ST-MTS-AD-1 模型表示在圖1 的ST-MTS-AD 模型基礎(chǔ)上將推斷網(wǎng)絡(luò)中Transformer編碼器替換為門控循環(huán)單元（GRU,gate recurrent unit）神經(jīng)網(wǎng)絡(luò)。ST-MTS-AD-2 模型表示將ST-MTS-AD 模型中用于生成隨機(jī)變量先驗分布的GTF 替換為LGSSM。ST-MTS-AD-3 模型表示圖1生成網(wǎng)絡(luò)去除了et作為輸入的設(shè)計，生成網(wǎng)絡(luò)的輸入僅來自隨機(jī)變量zt的采樣值。各模型在4 個數(shù)據(jù)集上的實驗結(jié)果如圖5 所示。
圖5 不同數(shù)據(jù)集上的消融實驗
從圖5 可知，ST-MTS-AD 模型在SMD、SMAP、MSL 和SWaT 數(shù)據(jù)集上的F1 分?jǐn)?shù)比ST-MTS-AD-1模型分別提高了11.1%、2.6%、7.3%和6.3%，因此基于Transformer 編碼器生成的時序依賴特征能更好地實現(xiàn)隱空間中隨機(jī)變量間的時序依賴性。ST-MTS-AD 模型的F1 分?jǐn)?shù)比ST-MTS-AD-2 模型分別提高了2.3%、1.5%、3.9%和6.4%，原因是GTF采用GRU 的思想對隨機(jī)變量zt-1到zt的轉(zhuǎn)換函數(shù)進(jìn)行參數(shù)化，通過非線性轉(zhuǎn)換函數(shù)控制zt-1到zt的信息傳遞，可以捕獲隨機(jī)變量之間更復(fù)雜的依賴性，而LGSSM 利用卡爾曼濾波的思想實現(xiàn)隨機(jī)變量間的線性轉(zhuǎn)換，結(jié)果證明了ST-MTS-AD 使用GTF的連接方式比使用LGSSM 的連接方式更加有效。ST-MTS-AD 模型的F1 分?jǐn)?shù)在SMD、SMAP、MSL和SWaT 數(shù)據(jù)集分別比ST-MTS-AD-3 模型提高了8.6%、0.6%、3.2%和9.4%，由Transformer 編碼器生成長時依賴特征et和推斷網(wǎng)絡(luò)生成的隨機(jī)變量zt的采樣值能更好地重構(gòu)MTS 各時刻x′t的分布。另外，與ST-MTS-AD-1、ST-MTS-AD-2 和ST-MTS-AD-3相比，ST-MTS-AD 在SMAP 數(shù)據(jù)集上的的F1 分?jǐn)?shù)提高并不明顯。這是因為SMAP 數(shù)據(jù)集中存在很多離散變量，其異常片段比較容易被檢測。
4 結(jié)束語
本文提出了一種融合Transformer 編碼器和VAE 的隨機(jī)Transformer MTS 異常檢測模型。該模型基于Transformer 編碼器生成的時序特征實現(xiàn)隱空間中隨機(jī)變量間的長時依賴性，采用門控轉(zhuǎn)換函數(shù)生成時序隨機(jī)變量的先驗分布，由推斷網(wǎng)絡(luò)生成的各時刻隨機(jī)變量近似后驗分布采樣值和Transformer 編碼器輸出的時序特征重構(gòu)MTS 各時刻取值的分布。在4 個公開數(shù)據(jù)集上實驗結(jié)果表明了ST-MTS-AD 設(shè)計的有效性。下一步筆者將研究如何基于Transformer 編碼器實現(xiàn)隱空間中隨機(jī)變量間的非馬爾可夫動態(tài)性。
