新手村：数据预处理-异常值检测方法
机器学习中异常值检测方法
一、前置条件
| 知识领域 | 要求 |
|---|---|
| 编程基础 | Python基础（变量、循环、函数）、Jupyter Notebook或PyCharm使用。 |
| 统计学基础 | 理解均值、中位数、标准差、四分位数、正态分布、Z-score等概念。 |
| 机器学习基础 | 熟悉监督/无监督学习、分类、聚类、回归等基本概念。 |
| 数据预处理 | 数据清洗、特征缩放（标准化/归一化）、数据可视化（Matplotlib/Seaborn）。 |
二、渐进式学习计划
| 阶段 | 学习目标 | 核心内容 | 时间分配 | 难度评分（1-5） |
|---|---|---|---|---|
| 1. 异常值基础 | 理解异常值的定义、分类及应用场景。 | 异常值的定义、分类（离群点 vs 新奇点）、常见场景（金融、医疗、制造）。 | 2小时 | 1.5 |
| 2. 统计方法 | 掌握基于统计的异常检测方法（Z-score、IQR）。 | Z-score方法、IQR方法、箱线图可视化。 新手村：异常值检测-Z-score与IQR方法 | 4小时 | 2.0 |
| 3. 聚类与距离方法 | 学习基于距离和密度的异常检测（KNN、LOF）。 | K最近邻（KNN）、局部异常因子（LOF）、DBSCAN。 | 6小时 | 3.0 |
| 4. 模型方法 | 掌握基于模型的异常检测（SVM、Isolation Forest）。 | 一类SVM、孤立森林（Isolation Forest）、高斯混合模型（GMM）。 | 8小时 | 4.0 |
| 5. 实战应用 | 完成一个完整的异常检测项目（如SECOM数据集）。 | 数据加载、特征工程、模型选择、结果评估（F1分数、ROC曲线）。 | 10小时 | 4.5 |
统计方法（Z-score、IQR）
- 新手村：异常值检测-Z-score与IQR方法
聚类与距离方法
- 聚类与距离方法
模型方法
- 模型方法
五、练习题
- 统计方法练习：
- 使用Z-score方法检测Iris数据集的花瓣长度异常值。
- 用箱线图可视化结果。
- 模型方法练习：
- 使用One-Class SVM检测信用卡欺诈数据集（Kaggle）中的异常交易。
- 调整
nu参数并比较结果。
- 综合应用：
- 使用LOF算法检测MNIST数据集中的异常手写数字（如噪声干扰的数字）。
六、进阶学习内容
| 主题 | 内容 | 难度 |
|---|---|---|
| 深度学习方法 | 自编码器（Autoencoder）、VAE、GAN在异常检测中的应用。 | 4.5 |
| 时序数据异常检测 | LSTM、Prophet模型检测时间序列中的异常（如服务器日志异常）。 | 4.0 |
| 高维数据处理 | PCA降维后结合统计方法、流形学习（t-SNE）可视化高维异常。 | 4.0 |
| 实时异常检测 | 使用在线学习算法（如Hawkins-Dickerson）处理流数据。 | 4.5 |
七、术语解释
| 术语 | 定义 |
|---|---|
| 异常值（Outlier） | 数据集中显著偏离其他观测值的点，可能是噪声或真实异常。 |
| 离群点（Outlier） | 与多数数据点分布不同的点，可能由测量错误或真实异常引起。 |
| 新奇检测（Novelty Detection） | 检测新出现的、未见过的异常模式（如网络攻击）。 |
| 局部异常因子（LOF） | 通过比较点的密度与邻居密度，检测低密度区域的异常。 |
| 孤立森林（Isolation Forest） | 通过随机分割数据，快速将异常值“孤立”出来。 |
| 一类SVM（One-Class SVM） | 学习数据的“正常”边界，检测超出边界的点为异常。 |
八、总结陈述
异常检测是机器学习中关键的预处理步骤，其核心是区分“正常”与“异常”数据。学习路径应从统计方法（如Z-score、IQR）开始，逐步过渡到复杂模型（如LOF、Isolation Forest）。实际应用中需结合业务场景选择算法，并通过可视化和评估指标（如F1分数、ROC-AUC）验证效果。进阶学习可探索深度学习和实时检测技术，以应对复杂数据挑战。
九、重要问题解答
-
为什么统计方法（如Z-score）对非正态分布数据效果差？
- 答案：Z-score假设数据服从正态分布，若数据分布偏态或存在多重峰，异常值可能被误判。此时需改用IQR或非参数方法。
-
如何选择异常检测算法？
- 答案：
- 小数据集：统计方法（Z-score、IQR）或一类SVM。
- 高维数据：Isolation Forest或LOF。
- 需解释性：LOF（基于密度）或统计方法。
- 实时检测：孤立森林（计算效率高）。
- 答案：
-
异常检测的评估指标有哪些？
- 答案：精确率（Precision）、召回率（Recall）、F1分数、ROC-AUC曲线。若标签缺失，可用离群因子（outlier score）排序可视化。
十、资源推荐
| 资源类型 | 名称/链接 |
|---|---|
| 书籍 | 《Outlier Analysis》（Charu C. Aggarwal） |
| 课程 | Coursera《Anomaly Detection for Cyber Security》 |
| 论文 | 《A Survey of Outlier Detection Methodologies》（Hodge & Austin, 2004） |
| 开源工具 | scikit-learn（内置Isolation Forest、LOF、One-Class SVM） |