如何使用机器学习进行异常检测和状态监控？
全文共4509字，预计学习时长9分钟
异常检测
异常检测Anomaly detection（或outlier detection）是通过与大多数数据不同而引起怀疑的罕见项目、事件或观察的识别。通常，异常数据可以与某种问题或罕见事件相关联，例如，银行欺诈、医疗问题、结构缺陷、故障设备等。这种联系使得能够挑选出哪些数据点可被视为异常变得有趣，因为从业务角度来看，识别这些事件通常非常有趣。
这带来了一个关键目标：我们如何识别数据点是正常的还是异常的？在一些简单的情况下，如下面的示例图所示，数据可视化可以为我们提供重要信息。
图2：自动编码器网络
在异常检测和状态监控的背景下，基本思想是使用自动编码器网络将传感器读数“压缩”为较低维度的表示，其捕获各种变量之间的相关性和相互作用。（基本上与PCA模型的原理相同，但在这里我们也允许变量之间的非线性相互作用）。
然后，对表示“正常”操作状态的数据训练自动编码器网络，目的是首先压缩然后重构输入变量。在维数降低期间，网络学习各种变量之间的相互作用，并且应该能够将它们重新构造回输出处的原始变量。主要思想是，当被监测设备降级时，应该会影响变量之间的相互作用（例如温度，压力，振动等的变化）。当这种情况发生时，人们将开始看到网络重构输入变量的错误增加。通过监视重建错误，可以获得被监视设备的“健康”的指示，因为该错误将随着设备降级而增加。与使用马式距离的第一种方法类似，我们在此使用重建误差的概率分布来识别数据点是正常的还是异常的。
图3：“健康”设备的马式距离分布
使用MD为“健康”设备的分布，我们可以定义考虑异常的阈值。从上面的分布，可以（例如）定义MD 3作为异常。现在，对这种检测设备退化的方法的评估包括计算测试集中所有数据点的MD，并将其与定义的阈值进行比较，以将其标记为异常。
测试数据的模型评估：
使用上述方法，我们计算了导致轴承失效的时间段内测试数据的MD，如下图所示。
图5：“健康”设备的重建损失分布。
利用“健康”设备的重建损失分布，我们现在可以定义一个考虑异常的阈值。从上面的分布，我们可以（例如）定义损失 0.25作为异常。现在，对检测设备退化的方法的评估包括计算测试集中所有数据点的重建损失，并将损失与定义的阈值进行比较，以将其标记为异常。
测试数据的模型评估：
使用上述方法，我们计算在导致轴承故障的时间段内测试数据的重建损耗，如下图所示。
留言 点赞 发个朋友圈
我们一起分享AI学习与发展的干货
全文共4509字，预计学习时长9分钟
异常检测
异常检测Anomaly detection（或outlier detection）是通过与大多数数据不同而引起怀疑的罕见项目、事件或观察的识别。通常，异常数据可以与某种问题或罕见事件相关联，例如，银行欺诈、医疗问题、结构缺陷、故障设备等。这种联系使得能够挑选出哪些数据点可被视为异常变得有趣，因为从业务角度来看，识别这些事件通常非常有趣。
这带来了一个关键目标：我们如何识别数据点是正常的还是异常的？在一些简单的情况下，如下面的示例图所示，数据可视化可以为我们提供重要信息。
图2：自动编码器网络
在异常检测和状态监控的背景下，基本思想是使用自动编码器网络将传感器读数“压缩”为较低维度的表示，其捕获各种变量之间的相关性和相互作用。（基本上与PCA模型的原理相同，但在这里我们也允许变量之间的非线性相互作用）。
然后，对表示“正常”操作状态的数据训练自动编码器网络，目的是首先压缩然后重构输入变量。在维数降低期间，网络学习各种变量之间的相互作用，并且应该能够将它们重新构造回输出处的原始变量。主要思想是，当被监测设备降级时，应该会影响变量之间的相互作用（例如温度，压力，振动等的变化）。当这种情况发生时，人们将开始看到网络重构输入变量的错误增加。通过监视重建错误，可以获得被监视设备的“健康”的指示，因为该错误将随着设备降级而增加。与使用马式距离的第一种方法类似，我们在此使用重建误差的概率分布来识别数据点是正常的还是异常的。
图3：“健康”设备的马式距离分布
使用MD为“健康”设备的分布，我们可以定义考虑异常的阈值。从上面的分布，可以（例如）定义MD 3作为异常。现在，对这种检测设备退化的方法的评估包括计算测试集中所有数据点的MD，并将其与定义的阈值进行比较，以将其标记为异常。
测试数据的模型评估：
使用上述方法，我们计算了导致轴承失效的时间段内测试数据的MD，如下图所示。
图5：“健康”设备的重建损失分布。
利用“健康”设备的重建损失分布，我们现在可以定义一个考虑异常的阈值。从上面的分布，我们可以（例如）定义损失 0.25作为异常。现在，对检测设备退化的方法的评估包括计算测试集中所有数据点的重建损失，并将损失与定义的阈值进行比较，以将其标记为异常。
测试数据的模型评估：
使用上述方法，我们计算在导致轴承故障的时间段内测试数据的重建损耗，如下图所示。
留言 点赞 发个朋友圈
我们一起分享AI学习与发展的干货