当前位置:首页 > 新闻中心 >新闻详情

WWW2024|频率视角重新审视VAE在无监督时间序列异常检测中的应用

发布时间:2024-03-06 14:08:00

简介:本文介绍了由中国科学院计算机网络信息中心、微软和清华大学等单位共同合作的论文《频率视角重新审视用于无监督时间序列异常检测的VAE》。该论文已被The Web Conference 2024(International World Wide Web Conference)会议录用。
 
论文标题:Revisiting VAE for Unsupervised Time Series Anomaly Detection: A Frequency Perspective
    
论文链接:https://arxiv.org/abs/2402.02820
 
代码:https://github.com/CSTCloudOps/FCVAE
 
作者:王泽鑫,裴昶华,马明华,王欣,李之涵,裴丹,Saravan Rajmohan,张冬梅,林庆伟,张海明,黎建辉,谢高岗

随着Web系统的快速发展,为了保证系统安全确保服务质量,大型公司通常会监控各种时序曲线并部署异常检测方法。在生产环境中,快速准确的检测出异常并处理能避免配置失误等带来的经济损失。然而,现有的基于VAE重建的异常检测方法并不能很好的重建正常值导致检测准确率不高。

因此,文章提出了一种新的无监督时序异常检测方法——FCVAE,它由于充分使用了频域信息,有效的解决了VAE重建正常数据不够优秀的缺陷。此外,文章设计了全局频率信息提取和基于Target Attention的局部频率信息提取模块,使得重建能同时利用全局频率信息和局部频率信息。文章基于公开数据集和微软的生产环境数据进行了实验,表明FCVAE显著提升了时序异常检测性能。

背景与挑战  

为了保证Web系统的服务质量以及安全性,大型公司通常会定期监控一些关键指标,这些指标经过时间积累形成时序曲线。单时序异常通常指的是某个时刻的值偏离历史正常值。然而目前的基于VAE重建的方法重建正常值的效果并不好。
 
相似但不同的长周期模式
 
不同的基于重建方法在训练相同轮后的重建效果如图1所示。我们发现,时序曲线在长周期模式上具有相似但不同的特点。然而目前基于重建的方法只能大致捕捉这个模式,但是重建并不能随着模式的细微变化而变化。因此这些方法对于正常数据重建效果并不好,尤其在长周期的波峰波谷处。

 
不同重建方法对比,红色阴影代表长周期,绿色阴影代表重建误差
 
细节的短周期模式
 
不同重建方法细节以及频域对比,左图阴影表示滑动平均前的值范围
 
我们从图1中截取蓝色方框区域放大并将其转换到频域得到图2。可以看出目前的重建方法在细节处重建效果不好并且抖动很大(阴影部分面积大)。频谱图证实了我们的猜想,我们可以看出目前的重建方法丢失了很多低频分量。
 
大量的频域信息使得CVAE中的条件杂乱
 
CVAE可以通过条件充分的引入额外的信息,因此将频率信息作为条件结合CVAE使用是一个解决上述挑战很好的思路。然而,时序曲线频域分布复杂并且含有很多噪声信息,直接使用会造成条件杂乱无法使用。
 
结构设计  

FCVAE的整体结构如图3所示。其通过LFM和GFM提取全局和局部的频域信息并合并输入编码器和解码器,帮助模型更好的重建正常数据。其中GFM直接对整个窗口进行FFT,而LFM则是通过Target Attention提取各个子窗口的有效频域信息。
FCVAE结构
 
 
 
 
实验评估  

文章对比了FCVAE与8个单维时间序列异常检测模型。为了评估模型对于异常检测的准确率以及对于异常的响应速度,使用Best F1和Delay F1两个指标。最终的实验结果如表1所示。结果表明,FCVAE不论是准确率和对异常的响应速度都超过了当前SOTA。
实验结果
 
 
 
总   结   

时序异常检测对于当前Web系统很重要。FCVAE通过将频域信息和CVAE结合使用,提升了VAE对于正常数据重建的能力。实验证明,加入了全局和局部频率信息的CVAE在多个指标多个公开数据集上都表现出色。同时,文章还针对不同的使用频率信息的方式以及CVAE不同的条件等展开了详细的讨论,为之后VAE重建方法的发展提供了建设性思路。


 
 

TOP

010-82362970