准备知识33 章节

Python 与科学计算

9 篇

01.Python 环境与 Notebook 02.变量、类型与表达式 03.控制流与推导式 04.核心数据结构 05.函数、作用域与函数式工具 06.模块、包与配置 07.文件、异常、调试与测试 08.NumPy 数值计算与向量化 09. Pandas 数据分析与表格操作实战

数学基础（线代、微积分与概率统计）

15 篇

01.向量、矩阵与余弦相似度 02.矩阵运算、秩与几何变换 03.基、Gram-Schmidt 与最小二乘 04.特征值分解、对角化与正定矩阵 05.SVD 分解与 PCA 降维实战 06. 偏导数、链式法则与计算图 07. 梯度、Jacobian/Hessian 与凸性 08. 梯度下降算法：Batch, SGD 与 Mini-batch 09. 现代优化器：Momentum, RMSProp 与 Adam 10. 损失函数思想与凸函数极小化 11. 随机变量、条件概率与贝叶斯定理 12. 常见分布、期望方差与协方差 13. 大数定律、中心极限定理与 Bootstrap 14. MLE, MAP 与高斯-MSE/伯努利-BCE 推导 15. 假设检验、p值、效应量与 A/B 测试实战

数据处理与特征工程

5 篇

01. 数据字典、质量审计与 EDA 清单 02. 随机、分层、分组与时间序列切分 03. 预处理、编码与防数据泄漏铁律 04. 特征构造、多重共线性与类别不平衡消融 05. ColumnTransformer, Pipeline 与模型持久化

实验与工程习惯

4 篇

01. 规范仓库结构、YAML 配置与随机性控制 02. 模块化代码重构与 pytest 5大契约测试 03. 结构化实验记录 runs/ 与误分类错误分析 04. 端到端从零复现、多模型基线对比与报告

本模块进度0%

已完成 0 / 33 个章节

查看知识全景图

笔记库/准备知识/03. 预处理、编码与防数据泄漏铁律

← 返回知识地图

03. 预处理、编码与防数据泄漏铁律

难度: 中等预计阅读 55 分钟学习进度 0%

核心导读

掌握缺失值填补、特征缩放与类别编码，严守“所有 Transformer 的 fit 只能作用于训练集”防数据泄漏铁律。

从一个问题开始

在进行数据标准化 StandardScaler 或缺失值填充 SimpleImputer 时，很多新手习惯先对全量数据集调用 scaler.fit_transform(X)，然后再用 train_test_split 划分训练集和测试集。

这一看似顺手的操作，实际上触犯了机器学习中最致命的死罪——数据泄漏（Data Leakage）！在划分前调用全量 fit，意味着计算出来的全局均值 $\mu$ 和标准差 $\sigma$ 已经偷偷吸取了测试集的数据分布信息。这就好比在考试前提前拿到了测试集的答案和均值！

这一章我们将深入缺失值填补、特征缩放与类别编码，手算推导正确隔离 vs 错误全量 fit 的数值差异，并用代码验证防泄漏铁律。

初学者直觉：闭眼考试与透题比喻 (Exam Leakage)

把预处理的 fit 与 transform 比作参加一场闭卷考试：

fit() 过程：是在观察数据并学习规则（计算均值 $\mu$ 、统计频率、记牢 One-Hot 的类别字典）。
transform() 过程：是应用学到的规则对数据进行转换。
铁律：你只能根据平时练习（训练集 Train）学规则！在看考卷（测试集 Test）之前，你必须闭上眼睛，绝不能根据考卷上的数据来调节自己的规则！对测试集只能调用 transform()！

1. 常见预处理技术规范

1.1 缺失值填充 (Imputation)

数值型：使用中位数 Median（抗异常值）或 KNNImputer。
类别型：使用众数 Most Frequent 或填充独立标记 "Missing"。

1.2 特征缩放 (Feature Scaling)

Z-score 标准化 (StandardScaler)： $z = \frac{x - \mu}{\sigma}$ ，将数据放缩至均值为 0，标准差为 1。适用于高斯分布假设与大多数梯度优化算法。
Min-Max 归一化 (MinMaxScaler)： $x' = \frac{x - x_{\min}}{x_{\max} - x_{\min}}$ ，将数值压缩至 $[0, 1]$ 之间。

1.3 类别编码 (Categorical Encoding)

独热编码 (One-Hot Encoding)：对无序类别（如城市：北京/上海/深圳）展开为哑变量列。必须设置 handle_unknown='ignore' 以防测试集遇到未知新类别崩溃。
目标编码 (Target Encoding)：对高基数类别用目标均值替换，极易引发严重的超度泄漏，必须在 Fold 内部做 Out-of-fold 计算！

2. 手算演练

手算练习：正确隔离 fit vs 误全量 fit 的数值差异

假设我们只有 3 个样本：

训练集样本 $X_{\text{train}} = [10, 20]$
测试集样本 $X_{\text{test}} = [60]$

正确流程（只在训练集上 fit）手算：
- 计算训练集均值与标准差：

\mu_{\text{train}} = \frac{10 + 20}{2} = 15, \quad \sigma_{\text{train}} = \sqrt{\frac{(10-15)^2 + (20-15)^2}{2}} = 5

仅用训练集的参数对测试集样本 $60$ 进行转换：

z_{\text{test}} = \frac{60 - \mu_{\text{train}}}{\sigma_{\text{train}}} = \frac{60 - 15}{5} = \frac{45}{5} = \mathbf{9.0}

错误流程（误全量 fit）手算：
- 如果在切分前对 $[10, 20, 60]$ 全量计算均值与标准差：

\mu_{\text{global}} = \frac{10 + 20 + 60}{3} = 30, \quad \sigma_{\text{global}} = \sqrt{\frac{400 + 100 + 900}{3}} \approx 21.60

错误转换后的测试集数值：

z_{\text{test\_wrong}} = \frac{60 - 30}{21.60} \approx \mathbf{1.39}

手算得出惊人对比：在正确隔离下，测试集点 $60$ 距离训练集中心有 9.0 个标准差之遥（属于极端新值）；而在全量 fit 泄漏下，它被强行拉近到了只有 1.39 个标准差！数据分布被彻底歪曲与偷看泄漏！

3. 动手实战：验证数据泄漏造成的伪高分

下面的代码演示误全量 fit 与正确隔离 fit 的代码写法区别，并打印测试集真实准确率：

误全量 fit 泄漏 vs 正确隔离预处理代码对比

import numpy as np

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.neighbors import KNeighborsClassifier

from sklearn.metrics import accuracy_score

# 1. 构造带有特定分布的模拟数据集

np.random.seed(42)

N = 200

X = np.random.normal(loc=10.0, scale=5.0, size=(N, 4))

y = (X[:, 0] + X[:, 1] > 20.0).astype(int)

# 强制注入几条数值极大的远端离群样本 (模拟测试集潜在突变)

X_dirty = X.copy()

X_dirty[-20:, :] += 50.0

# ================= 错误路径：全量 fit 导致数据泄漏 =================

scaler_wrong = StandardScaler()

X_scaled_wrong = scaler_wrong.fit_transform(X_dirty) # 违规全量 fit!

X_tr_w, X_te_w, y_tr_w, y_te_w = train_test_split(X_scaled_wrong, y, test_size=0.2, random_state=42)

model_wrong = KNeighborsClassifier(n_neighbors=3)

model_wrong.fit(X_tr_w, y_tr_w)

acc_wrong = accuracy_score(y_te_w, model_wrong.predict(X_te_w))

# ================= 正确路径：严格隔离，仅在 Train 上 fit =================

X_tr_raw, X_te_raw, y_tr, y_te = train_test_split(X_dirty, y, test_size=0.2, random_state=42)

scaler_correct = StandardScaler()

X_tr_correct = scaler_correct.fit_transform(X_tr_raw) # 仅在 Train fit!

X_te_correct = scaler_correct.transform(X_te_raw) # 对 Test 仅 transform!

model_correct = KNeighborsClassifier(n_neighbors=3)

model_correct.fit(X_tr_correct, y_tr)

acc_correct = accuracy_score(y_te, model_correct.predict(X_te_correct))

print(f"错误全量 fit 下的测试集准确率: {acc_wrong * 100:.2f}% (虚假虚高表现)")

print(f"严格隔离 fit 下的测试集准确率: {acc_correct * 100:.2f}% (真实的泛化性能)")

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

# 1. 构造带有特定分布的模拟数据集
np.random.seed(42)
N = 200
X = np.random.normal(loc=10.0, scale=5.0, size=(N, 4))
y = (X[:, 0] + X[:, 1] > 20.0).astype(int)

# 强制注入几条数值极大的远端离群样本 (模拟测试集潜在突变)
X_dirty = X.copy()
X_dirty[-20:, :] += 50.0

# ================= 错误路径：全量 fit 导致数据泄漏 =================
scaler_wrong = StandardScaler()
X_scaled_wrong = scaler_wrong.fit_transform(X_dirty) # 违规全量 fit!

X_tr_w, X_te_w, y_tr_w, y_te_w = train_test_split(X_scaled_wrong, y, test_size=0.2, random_state=42)
model_wrong = KNeighborsClassifier(n_neighbors=3)
model_wrong.fit(X_tr_w, y_tr_w)
acc_wrong = accuracy_score(y_te_w, model_wrong.predict(X_te_w))

# ================= 正确路径：严格隔离，仅在 Train 上 fit =================
X_tr_raw, X_te_raw, y_tr, y_te = train_test_split(X_dirty, y, test_size=0.2, random_state=42)

scaler_correct = StandardScaler()
X_tr_correct = scaler_correct.fit_transform(X_tr_raw) # 仅在 Train fit!
X_te_correct = scaler_correct.transform(X_te_raw)     # 对 Test 仅 transform!

model_correct = KNeighborsClassifier(n_neighbors=3)
model_correct.fit(X_tr_correct, y_tr)
acc_correct = accuracy_score(y_te, model_correct.predict(X_te_correct))

print(f"错误全量 fit 下的测试集准确率: {acc_wrong * 100:.2f}%  (虚假虚高表现)")
print(f"严格隔离 fit 下的测试集准确率: {acc_correct * 100:.2f}%  (真实的泛化性能)")

4. 常见错误与避坑指南

现象	先问什么	处理方式
在整个 DataFrame 上直接调用 `scaler.fit_transform(df)`	是否已经完成了 Train/Test 切分	严禁全表 fit！必须先切分 `X_train` 和 `X_test`，仅对 `X_train` 调用 `fit_transform`
One-Hot 编码在测试集遇到训练集没见过的新类别报错	是否设置了 `handle_unknown='ignore'`	在实例化 `OneHotEncoder(handle_unknown='ignore')` 时加上参数，自动将未知新类别编码为全 0
用 `SimpleImputer` 填充缺失值时对测试集调用了 `fit_transform`	测试集是否使用了训练集的均值	对测试集只能调用 `imputer.transform(X_test)`，强行使用训练集统计出的均值进行填充

检查清单 (Checklist)

能解释为什么在划分训练集与测试集之前对全量数据调用 fit 会导致严重的数据泄漏。
能区分 fit(), transform() 与 fit_transform() 三者的用途与调用规则。
能手算正确隔离预处理与误全量 fit 下标准化数值的显著差异。
能说明针对连续特征与类别特征的标准预处理方法（StandardScaler vs One-Hot）。
能写出防止数据泄漏的标准 Scikit-Learn 预处理代码。

自测题

在训练集 X_train 上实例化 scaler = StandardScaler() 后，应该如何依次对 X_train 和 X_test 进行转换？写出正确的代码调用形式。
解释：如果在 One-Hot 编码时对全量数据进行了 fit，会产生怎样的隐蔽数据泄漏？
在对测试集 X_test 进行缺失值填充时，应该使用 X_test 自身的均值，还是 X_train 的均值？为什么？
【代码阅读题】在上一节代码中，为什么针对正确路径的测试集转换调用的是 scaler_correct.transform(X_te_raw) 而不是 scaler_correct.fit_transform(X_te_raw)？

点击查看参考答案

正确调用形式为： X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test)。
因为全量 fit 会扫描测试集中包含的所有离散类别集合；如果某些特殊类别只在测试集中出现，全量 fit 会提前给它分配一个哑变量列，使得模型在训练阶段隐式知道了测试集中存在这些新类别，造成信息泄漏。
必须使用 X_train 的均值。因为在现实线上预测时，我们只有当前这单条测试样本，根本无法计算测试集自身的均值，只能依赖历史训练集统计出来的历史规则进行填充。
因为 fit_transform 会重新计算 X_te_raw 自身的均值和标准差，从而破坏了训练集已经建立好的标准化缩放规则，导致数据泄漏；对测试集必须严格使用 transform 仅应用训练集的参数。

下一步

进入下一个专项 04. 特征构造、多重共线性与类别不平衡消融，学习特征构造、VIF 多重共线性诊断、SMOTE 过采样与特征消融实验（Ablation Study）。

参考资料

scikit-learn: Data Preprocessing Guide：官方预处理模块 API 文档。
scikit-learn: Common Pitfalls in Preprocessing：预处理中的数据泄漏陷阱。
Feature Engineering for Machine Learning：第 3 章特征缩放与编码。

本页目录

从一个问题开始

1. 常见预处理技术规范

1.1 缺失值填充 (Imputation)

1.2 特征缩放 (Feature Scaling)

1.3 类别编码 (Categorical Encoding)

2. 手算演练

手算练习：正确隔离 fit vs 误全量 fit 的数值差异

3. 动手实战：验证数据泄漏造成的伪高分

4. 常见错误与避坑指南

检查清单 (Checklist)

自测题

下一步

参考资料

核心概念术语表

z = \frac{x - \mu_{\text{train}}}{\sigma_{\text{train}}}

使用训练集均值与标准差进行的正确标准化

\text{fit\_transform(X\_train)}

仅在训练集上计算特征参数并转换

\text{transform(X\_test)}

仅使用训练集的参数对测试集进行转换

关联推荐笔记

查看全部

02. 随机、分层、分组与时间序列切分

数据集划分 55 分钟

04. 特征构造、多重共线性与类别不平衡消融

特征工程 60 分钟

从一个问题开始

这一章我们将深入缺失值填补、特征缩放与类别编码，手算推导正确隔离 vs 错误全量 fit 的数值差异，并用代码验证防泄漏铁律。

初学者直觉：闭眼考试与透题比喻 (Exam Leakage)

把预处理的 fit 与 transform 比作参加一场闭卷考试：

fit() 过程：是在观察数据并学习规则（计算均值 $\mu$ 、统计频率、记牢 One-Hot 的类别字典）。
transform() 过程：是应用学到的规则对数据进行转换。
铁律：你只能根据平时练习（训练集 Train）学规则！在看考卷（测试集 Test）之前，你必须闭上眼睛，绝不能根据考卷上的数据来调节自己的规则！对测试集只能调用 transform()！

1. 常见预处理技术规范

1.1 缺失值填充 (Imputation)

数值型：使用中位数 Median（抗异常值）或 KNNImputer。
类别型：使用众数 Most Frequent 或填充独立标记 "Missing"。

1.2 特征缩放 (Feature Scaling)

Z-score 标准化 (StandardScaler)： $z = \frac{x - \mu}{\sigma}$ ，将数据放缩至均值为 0，标准差为 1。适用于高斯分布假设与大多数梯度优化算法。
Min-Max 归一化 (MinMaxScaler)： $x' = \frac{x - x_{\min}}{x_{\max} - x_{\min}}$ ，将数值压缩至 $[0, 1]$ 之间。

1.3 类别编码 (Categorical Encoding)

独热编码 (One-Hot Encoding)：对无序类别（如城市：北京/上海/深圳）展开为哑变量列。必须设置 handle_unknown='ignore' 以防测试集遇到未知新类别崩溃。
目标编码 (Target Encoding)：对高基数类别用目标均值替换，极易引发严重的超度泄漏，必须在 Fold 内部做 Out-of-fold 计算！

2. 手算演练

手算练习：正确隔离 fit vs 误全量 fit 的数值差异

假设我们只有 3 个样本：

训练集样本 $X_{\text{train}} = [10, 20]$
测试集样本 $X_{\text{test}} = [60]$

正确流程（只在训练集上 fit）手算：
- 计算训练集均值与标准差：

\mu_{\text{train}} = \frac{10 + 20}{2} = 15, \quad \sigma_{\text{train}} = \sqrt{\frac{(10-15)^2 + (20-15)^2}{2}} = 5

仅用训练集的参数对测试集样本 $60$ 进行转换：

z_{\text{test}} = \frac{60 - \mu_{\text{train}}}{\sigma_{\text{train}}} = \frac{60 - 15}{5} = \frac{45}{5} = \mathbf{9.0}

错误流程（误全量 fit）手算：
- 如果在切分前对 $[10, 20, 60]$ 全量计算均值与标准差：

\mu_{\text{global}} = \frac{10 + 20 + 60}{3} = 30, \quad \sigma_{\text{global}} = \sqrt{\frac{400 + 100 + 900}{3}} \approx 21.60

错误转换后的测试集数值：

z_{\text{test\_wrong}} = \frac{60 - 30}{21.60} \approx \mathbf{1.39}