WWW2024｜频率视角重新审视VAE在无监督时间序列异常检测中的应用
发布时间：2024-03-06 14:08:00
简介：本文介绍了由中国科学院计算机网络信息中心、微软和清华大学等单位共同合作的论文《频率视角重新审视用于无监督时间序列异常检测的VAE》。该论文已被The Web Conference 2024（International World Wide Web Conference）会议录用。
论文标题：Revisiting VAE for Unsupervised Time Series Anomaly Detection: A Frequency Perspective
论文链接：https://arxiv.org/abs/2402.02820
代码：https://github.com/CSTCloudOps/FCVAE
作者：王泽鑫，裴昶华，马明华，王欣，李之涵，裴丹，Saravan Rajmohan，张冬梅，林庆伟，张海明，黎建辉，谢高岗
随着Web系统的快速发展，为了保证系统安全确保服务质量，大型公司通常会监控各种时序曲线并部署异常检测方法。在生产环境中，快速准确的检测出异常并处理能避免配置失误等带来的经济损失。然而，现有的基于VAE重建的异常检测方法并不能很好的重建正常值导致检测准确率不高。
因此，文章提出了一种新的无监督时序异常检测方法——FCVAE，它由于充分使用了频域信息，有效的解决了VAE重建正常数据不够优秀的缺陷。此外，文章设计了全局频率信息提取和基于Target Attention的局部频率信息提取模块，使得重建能同时利用全局频率信息和局部频率信息。文章基于公开数据集和微软的生产环境数据进行了实验，表明FCVAE显著提升了时序异常检测性能。
背景与挑战
为了保证Web系统的服务质量以及安全性，大型公司通常会定期监控一些关键指标，这些指标经过时间积累形成时序曲线。单时序异常通常指的是某个时刻的值偏离历史正常值。然而目前的基于VAE重建的方法重建正常值的效果并不好。
相似但不同的长周期模式
不同的基于重建方法在训练相同轮后的重建效果如图1所示。我们发现，时序曲线在长周期模式上具有相似但不同的特点。然而目前基于重建的方法只能大致捕捉这个模式，但是重建并不能随着模式的细微变化而变化。因此这些方法对于正常数据重建效果并不好，尤其在长周期的波峰波谷处。
不同重建方法对比，红色阴影代表长周期，绿色阴影代表重建误差
细节的短周期模式
不同重建方法细节以及频域对比，左图阴影表示滑动平均前的值范围
我们从图1中截取蓝色方框区域放大并将其转换到频域得到图2。可以看出目前的重建方法在细节处重建效果不好并且抖动很大（阴影部分面积大）。频谱图证实了我们的猜想，我们可以看出目前的重建方法丢失了很多低频分量。
大量的频域信息使得CVAE中的条件杂乱
CVAE可以通过条件充分的引入额外的信息，因此将频率信息作为条件结合CVAE使用是一个解决上述挑战很好的思路。然而，时序曲线频域分布复杂并且含有很多噪声信息，直接使用会造成条件杂乱无法使用。
结构设计
FCVAE的整体结构如图3所示。其通过LFM和GFM提取全局和局部的频域信息并合并输入编码器和解码器，帮助模型更好的重建正常数据。其中GFM直接对整个窗口进行FFT，而LFM则是通过Target Attention提取各个子窗口的有效频域信息。
FCVAE结构
实验评估
文章对比了FCVAE与8个单维时间序列异常检测模型。为了评估模型对于异常检测的准确率以及对于异常的响应速度，使用Best F1和Delay F1两个指标。最终的实验结果如表1所示。结果表明，FCVAE不论是准确率和对异常的响应速度都超过了当前SOTA。
实验结果
总 结
时序异常检测对于当前Web系统很重要。FCVAE通过将频域信息和CVAE结合使用，提升了VAE对于正常数据重建的能力。实验证明，加入了全局和局部频率信息的CVAE在多个指标多个公开数据集上都表现出色。同时，文章还针对不同的使用频率信息的方式以及CVAE不同的条件等展开了详细的讨论，为之后VAE重建方法的发展提供了建设性思路。
