深度学习常见问题

发表于2022-04-20|更新于2023-05-31|深度学习

|浏览量:

1 模型的SOTA

State of The Arts的缩写，指的是在某一个领域性能最好的模型，一般就是指在常用数据集上面获得结果很好的模型。

2 permute函数

可以同时多次交换tensor的维度
例如：b = a.permute(0,2 ,1) 将a的维度索引1和维度索引2交换位置

文章作者: Josh Lee

文章链接: https://leewangwang.github.io/2022/04/20/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 The path of Learning！

相关推荐

2017—DeepLog：通过深度学习对系统日志进行异常检测和诊断

摘要利用长短时记忆（LSTM）的DeepLog神经网络模型，将系统日志建模为自然语言序列。允许DeepLog自动从正常执行中学习日志模式，并在日志模式偏离正常执行时根据日志数据训练的模型检测异常。此外，演示了如何以在线方式增量更新DeepLog模型，使其能够随着时间的推移适应新的日志。此外，DeepLog从底层系统日志构建工作流，以便一旦检测到异常，用户可以诊断检测到的异常并有效地执行根因分析。 1.介绍1.1 现有日志异常检测方法基于Log信息计数的PCA聚类通过获取不同的Log keys之间的共同的模式信息基于工作流的方法以识别程序逻辑流程中的执行异常 1.2 难点（存在问题）日志是非结构化的，在海量数据中进行在线异常检测具有挑战性异常检测必须及时有效，同时还要具有普适性 Log信息是并发性的，由多线程或者并发产生的，所以导致没法用一个工作流去解决问题。 1.3 本文贡献使用到的工具递归神经网络（RNN）：使用一个回路将上次状态的输出转发到当前输入，从而跟踪历史进行预测。 ...

基于数据增强的日志异常检测

1 思路可以考虑用GAN来生成日志信息（数据增强），进行数据增强后的数据集可以提高检测鲁棒性。 2 参考资料2.1 论文什么是日志异常检测：基于日志的异常检测技术综述《网络与信息安全学报》什么是GAN（生成对抗网络）：生成对抗网络《arXiv》最基础的检测模型：DeepLog 改进1:LogAnomaly 改进2:LogRobust 在日志异常检测中使用到GAN的论文：LogGAN 论文可以在网上搜到很多别人已经翻译后的，可以省去自己翻译的时间，但是如果要精读论文的话，还是自己翻译一遍比较好，因为别人翻译的毕竟是别人的东西，自己总结的才能知道有没有漏缺。 2.2 代码GAN的python代码实现：GAN基于PyTorch的实现基于深度学习的日志异常检测代码实现（包含3个方法）：DeepLog+LogAnomaly+LogRobust 代码基本上从GitHub下载下来之后，配置相应的环境即可运行，但是如果要运行大的模型，还是需要一台比较好的机器（特指电脑显卡），笔记本一般只适合运行少量数据（例如10k条日志信息）。 2.3...

基于深度学习的日志序列异常检测

深度学习使用GPU常见问题

1. Linux查看GPU的使用情况在终端中输入nvidia-smi命令 2. Linux查看CPU的使用情况在终端中输入top命令，使用ctrl+c退出 3. Linux解压zip压缩文件使用命令 unzip test.zip 4. GPU一般的温度一般保持在30~60℃是比较安全的，夏天显卡温度多数在50℃-85℃之间也是正常的范围。但是如果长时间保持60℃以上的话会对显卡有损耗。 5. GPU利用率低很多时候利用GPU进行深度学习加速，GPU的利用率才25%左右，加速效果不是很明显，因此我们可以提高Batch_size或者对DataLoder进行切片操作，一次性将更多的数据放入GPU里面。 6. 查看使用的GPU信息if torch.cuda.is_available(): device = torch.device("cuda") print('有 %d 个 GPU(s) 可用' % torch.cuda.device_count()) print('我们将使用的GPU是:',...