1 思路

可以考虑用GAN来生成日志信息(数据增强),进行数据增强后的数据集可以提高检测鲁棒性。

2 参考资料

2.1 论文

什么是日志异常检测:基于日志的异常检测技术综述《网络与信息安全学报》

什么是GAN(生成对抗网络):生成对抗网络《arXiv》

最基础的检测模型:DeepLog

改进1:LogAnomaly

改进2:LogRobust

在日志异常检测中使用到GAN的论文:LogGAN

论文可以在网上搜到很多别人已经翻译后的,可以省去自己翻译的时间,但是如果要精读论文的话,还是自己翻译一遍比较好,因为别人翻译的毕竟是别人的东西,自己总结的才能知道有没有漏缺。

2.2 代码

GAN的python代码实现:GAN基于PyTorch的实现

基于深度学习的日志异常检测代码实现(包含3个方法):DeepLog+LogAnomaly+LogRobust

代码基本上从GitHub下载下来之后,配置相应的环境即可运行,但是如果要运行大的模型,还是需要一台比较好的机器(特指电脑显卡),笔记本一般只适合运行少量数据(例如10k条日志信息)。

2.3 数据集

获取数据集:Zenodo

数据集介绍:LogHub

数据集预处理:LogPai

基于AI的日志大数据分析工具,能用于自动异常检测:LogLizer

如果不想使用全部数据集,可以在GitHub项目里面下载别人已经处理好的数据(数据量较小,只有2k条日志)。如果想要更多的数据,自己不想处理,也可以找本人要,我可以分享一下已经处理过的数据集。