基于数据增强的日志异常检测
1 思路
可以考虑用GAN来生成日志信息(数据增强),进行数据增强后的数据集可以提高检测鲁棒性。
2 参考资料
2.1 论文
什么是日志异常检测:基于日志的异常检测技术综述《网络与信息安全学报》
什么是GAN(生成对抗网络):生成对抗网络《arXiv》
最基础的检测模型:DeepLog
改进1:LogAnomaly
改进2:LogRobust
在日志异常检测中使用到GAN的论文:LogGAN
论文可以在网上搜到很多别人已经翻译后的,可以省去自己翻译的时间,但是如果要精读论文的话,还是自己翻译一遍比较好,因为别人翻译的毕竟是别人的东西,自己总结的才能知道有没有漏缺。
2.2 代码
GAN的python代码实现:GAN基于PyTorch的实现
基于深度学习的日志异常检测代码实现(包含3个方法):DeepLog+LogAnomaly+LogRobust
代码基本上从
GitHub下载下来之后,配置相应的环境即可运行,但是如果要运行大的模型,还是需要一台比较好的机器(特指电脑显卡),笔记本一般只适合运行少量数据(例如10k条日志信息)。
2.3 数据集
获取数据集:Zenodo
数据集介绍:LogHub
数据集预处理:LogPai
基于AI的日志大数据分析工具,能用于自动异常检测:LogLizer
如果不想使用全部数据集,可以在
GitHub项目里面下载别人已经处理好的数据(数据量较小,只有2k条日志)。如果想要更多的数据,自己不想处理,也可以找本人要,我可以分享一下已经处理过的数据集。
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 The path of Learning!