基于深度学习的日志序列异常检测
发表于|更新于|深度学习
|浏览量:
文章作者: Josh Lee
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 The path of Learning！
相关推荐
2022-06-07
2017—DeepLog：通过深度学习对系统日志进行异常检测和诊断
摘要利用长短时记忆（LSTM）的DeepLog神经网络模型，将系统日志建模为自然语言序列。允许DeepLog自动从正常执行中学习日志模式，并在日志模式偏离正常执行时根据日志数据训练的模型检测异常。此外，演示了如何以在线方式增量更新DeepLog模型，使其能够随着时间的推移适应新的日志。此外，DeepLog从底层系统日志构建工作流，以便一旦检测到异常，用户可以诊断检测到的异常并有效地执行根因分析。 1.介绍1.1 现有日志异常检测方法 基于Log信息计数的PCA聚类 通过获取不同的Log keys之间的共同的模式信息 基于工作流的方法以识别程序逻辑流程中的执行异常 1.2 难点（存在问题） 日志是非结构化的，在海量数据中进行在线异常检测具有挑战性 异常检测必须及时有效，同时还要具有普适性 Log信息是并发性的，由多线程或者并发产生的，所以导致没法用一个工作流去解决问题。 1.3 本文贡献 使用到的工具 递归神经网络（RNN）：使用一个回路将上次状态的输出转发到当前输入，从而跟踪历史进行预测。 ...
2022-11-29
基于数据增强的日志异常检测
1 思路可以考虑用GAN来生成日志信息（数据增强），进行数据增强后的数据集可以提高检测鲁棒性。 2 参考资料2.1 论文什么是日志异常检测：基于日志的异常检测技术综述《网络与信息安全学报》 什么是GAN（生成对抗网络）：生成对抗网络《arXiv》 最基础的检测模型：DeepLog 改进1:LogAnomaly 改进2:LogRobust 在日志异常检测中使用到GAN的论文：LogGAN 论文可以在网上搜到很多别人已经翻译后的，可以省去自己翻译的时间，但是如果要精读论文的话，还是自己翻译一遍比较好，因为别人翻译的毕竟是别人的东西，自己总结的才能知道有没有漏缺。 2.2 代码GAN的python代码实现：GAN基于PyTorch的实现 基于深度学习的日志异常检测代码实现（包含3个方法）：DeepLog+LogAnomaly+LogRobust 代码基本上从GitHub下载下来之后，配置相应的环境即可运行，但是如果要运行大的模型，还是需要一台比较好的机器（特指电脑显卡），笔记本一般只适合运行少量数据（例如10k条日志信息）。 2.3...
2022-03-23
深度学习使用GPU常见问题
1. Linux查看GPU的使用情况在终端中输入nvidia-smi命令 2. Linux查看CPU的使用情况在终端中输入top命令，使用ctrl+c退出 3. Linux解压zip压缩文件使用命令 unzip test.zip 4. GPU一般的温度一般保持在30~60℃是比较安全的，夏天显卡温度多数在50℃-85℃之间也是正常的范围。但是如果长时间保持60℃以上的话会对显卡有损耗。 5. GPU利用率低 很多时候利用GPU进行深度学习加速，GPU的利用率才25%左右，加速效果不是很明显，因此我们可以提高Batch_size或者对DataLoder进行切片操作，一次性将更多的数据放入GPU里面。 6. 查看使用的GPU信息if torch.cuda.is_available(): device = torch.device("cuda") print('有 %d 个 GPU(s) 可用' % torch.cuda.device_count()) print('我们将使用的GPU是:',...
2022-04-20
深度学习常见问题
1 模型的SOTAState of The Arts的缩写，指的是在某一个领域性能最好的模型，一般就是指在常用数据集上面获得结果很好的模型。 2 permute函数可以同时多次交换tensor的维度例如：b = a.permute(0,2 ,1) 将a的维度索引1和维度索引2交换位置
公告
This is my Blog