准备知识33 章节

Python 与科学计算

9 篇

01.Python 环境与 Notebook 02.变量、类型与表达式 03.控制流与推导式 04.核心数据结构 05.函数、作用域与函数式工具 06.模块、包与配置 07.文件、异常、调试与测试 08.NumPy 数值计算与向量化 09. Pandas 数据分析与表格操作实战

数学基础（线代、微积分与概率统计）

15 篇

01.向量、矩阵与余弦相似度 02.矩阵运算、秩与几何变换 03.基、Gram-Schmidt 与最小二乘 04.特征值分解、对角化与正定矩阵 05.SVD 分解与 PCA 降维实战 06. 偏导数、链式法则与计算图 07. 梯度、Jacobian/Hessian 与凸性 08. 梯度下降算法：Batch, SGD 与 Mini-batch 09. 现代优化器：Momentum, RMSProp 与 Adam 10. 损失函数思想与凸函数极小化 11. 随机变量、条件概率与贝叶斯定理 12. 常见分布、期望方差与协方差 13. 大数定律、中心极限定理与 Bootstrap 14. MLE, MAP 与高斯-MSE/伯努利-BCE 推导 15. 假设检验、p值、效应量与 A/B 测试实战

数据处理与特征工程

5 篇

01. 数据字典、质量审计与 EDA 清单 02. 随机、分层、分组与时间序列切分 03. 预处理、编码与防数据泄漏铁律 04. 特征构造、多重共线性与类别不平衡消融 05. ColumnTransformer, Pipeline 与模型持久化

实验与工程习惯

4 篇

01. 规范仓库结构、YAML 配置与随机性控制 02. 模块化代码重构与 pytest 5大契约测试 03. 结构化实验记录 runs/ 与误分类错误分析 04. 端到端从零复现、多模型基线对比与报告

本模块进度0%

已完成 0 / 33 个章节

查看知识全景图

笔记库/准备知识/02. 随机、分层、分组与时间序列切分

← 返回知识地图

02. 随机、分层、分组与时间序列切分

难度: 中等预计阅读 55 分钟学习进度 0%

核心导读

掌握训练集、验证集与测试集的职责边界，灵活运用随机、分层、分组与时间序列切分策略防范信息泄漏。

从一个问题开始

在评估一个用户流失预测模型时，如果你直接把所有数据打乱做 8:2 随机切分，模型在测试集上可能能跑出 98% 的高分。但上线后真实效果却极其糟糕！

探究发现：因为同一个用户在不同月份产生了多条行为记录，随机切分把同一个用户的记录同时分到了训练集和测试集里！模型并没有学会真正的通用模式，而是直接“记住”了该用户的身份（记忆过拟合）。

这一章我们将理清 Train/Val/Test 集合职责，深入推导 4 大数据集切分策略，并用 Python 代码验证如何通过分组与时间防火墙封堵信息泄漏。

初学者直觉：考试押题与时间防火墙

把数据集切分比作学校的考试流程：

训练集 (Train)：平时做练习题，模型用来学习参数。
验证集 (Val)：期中摸底考试，用来调整超参数（选择学习率、树的深度）。
测试集 (Test)：高考终极闭卷考试！绝对不能用来调参数！
Group 切分：同一名考生的所有平时作业，必须打包放在同一个集合里，不能拿该考生昨天的作业当明天的考题。
时间序列切分：只能用历史数据预测未来！严禁“穿越”到未来拿明天的股票价格预测今天的股价（未来信息泄露）。

1. 4 大数据集切分策略

1.1 随机切分 (Random Train/Test Split)

适用场景：样本独立同分布（i.i.d.），且类别比例相对均衡的标量表格数据。
局限：对不平衡数据或具相关性的结构数据失效。

1.2 分层切分 (Stratified Split)

适用场景：分类任务，尤其是类别不平衡数据（如欺诈检测 99.9% vs 0.1%）。
原理：确保训练集与测试集中的类别标签分布比例与总体比例完全一致。

1.3 分组切分 (Group Split / GroupKFold)

适用场景：多条记录归属于同一个实体（如同一病人的多张 CT 影像、同一用户的多条点击日志）。
原理：以 Group_ID 为切分单位，确保同一个 Group_ID 下的所有记录要么全在 Train，要么全在 Test，严禁跨集交叉！

1.4 时间序列切分 (Time-Series Split)

适用场景：股票价格预测、销量预测等随时间推移的动态数据。
原理：只能用时间 $t$ 之前的数据训练，预测 $t+1$ 之后的数据（使用滚动时间窗口 Rolling Window）。

2. 手算演练

手算练习：随机抽样 vs 分层抽样在不平衡数据上的期望差异

假设某个罕见病数据集共有 1,000 个样本，其中只有 50 个阳性患者（阳性率 $p = 5\%$ ），其余 950 个为阴性。现抽取 $n = 100$ 个样本作为测试集：

分层抽样 (Stratified Sampling) 手算：
- 严格锁定阳性比例 $5\%$ ：

\text{阳性样本数} = 100 \times 5\% = 5 \text{ 个}

\text{阴性样本数} = 100 \times 95\% = 95 \text{ 个}

无论运行多少次，测试集里始终稳定包含恰好 5 个阳性样本！

纯随机抽样 (Random Sampling) 超几何分布波动手算：
- 测试集中抽取到 0 个阳性样本的概率：

P(K = 0) = \frac{\binom{50}{0} \binom{950}{100}}{\binom{1000}{100}} \approx 0.584\%

即在随机抽样下，有近 0.6% 的概率测试集里一个阳性样本都没有！导致模型在测试集上无法评估 Recall。这严密证明了：对于不平衡分类，必须强制使用分层抽样 (Stratified Split)！

3. 动手实战：三种结构化切分策略的代码实现

下面的代码演示如何使用 Scikit-Learn 实现分类分层、Group 隔离与时间序列切分：

Stratified, Group与 TimeSeries 3种切分代码实战

import numpy as np

import pandas as pd

from sklearn.model_selection import StratifiedKFold, GroupKFold, TimeSeriesSplit

# 1. 构造演示数据集

np.random.seed(42)

N = 12

df = pd.DataFrame({

'user_id': [101, 101, 101, 102, 102, 103, 103, 104, 104, 105, 105, 105], # 5 个用户

'timestamp': pd.date_range(start='2026-01-01', periods=N, freq='D'),

'feature': np.random.randn(N),

'target': [0, 0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1] # 不平衡标签

})

print("================ 1. 分层 K-Fold (StratifiedKFold) ================")

skf = StratifiedKFold(n_splits=3)

for fold, (train_idx, val_idx) in enumerate(skf.split(df, df['target'])):

val_targets = df.iloc[val_idx]['target'].values

print(f"Fold {fold+1} 验证集索引: {val_idx} | 标签分布: {np.bincount(val_targets)}")

print("\n================ 2. 用户分组 K-Fold (GroupKFold) ================")

gkf = GroupKFold(n_splits=3)

for fold, (train_idx, val_idx) in enumerate(gkf.split(df, df['target'], groups=df['user_id'])):

val_users = df.iloc[val_idx]['user_id'].unique()

train_users = df.iloc[train_idx]['user_id'].unique()

# 验证同一个用户是否跨集中

intersection = set(val_users).intersection(set(train_users))

print(f"Fold {fold+1} 验证集用户: {val_users} | 跨集交叉用户数: {len(intersection)}")

print("\n================ 3. 时间序列切分 (TimeSeriesSplit) ================")

tss = TimeSeriesSplit(n_splits=3)

for fold, (train_idx, val_idx) in enumerate(tss.split(df)):

print(f"Fold {fold+1} 训练时间段: {df.iloc[train_idx]['timestamp'].dt.date.values[0]} ~ {df.iloc[train_idx]['timestamp'].dt.date.values[-1]}")

print(f" 验证时间段: {df.iloc[val_idx]['timestamp'].dt.date.values[0]} ~ {df.iloc[val_idx]['timestamp'].dt.date.values[-1]}")

import numpy as np
import pandas as pd
from sklearn.model_selection import StratifiedKFold, GroupKFold, TimeSeriesSplit

# 1. 构造演示数据集
np.random.seed(42)
N = 12
df = pd.DataFrame({
    'user_id': [101, 101, 101, 102, 102, 103, 103, 104, 104, 105, 105, 105], # 5 个用户
    'timestamp': pd.date_range(start='2026-01-01', periods=N, freq='D'),
    'feature': np.random.randn(N),
    'target': [0, 0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1] # 不平衡标签
})

print("================ 1. 分层 K-Fold (StratifiedKFold) ================")
skf = StratifiedKFold(n_splits=3)
for fold, (train_idx, val_idx) in enumerate(skf.split(df, df['target'])):
    val_targets = df.iloc[val_idx]['target'].values
    print(f"Fold {fold+1} 验证集索引: {val_idx} | 标签分布: {np.bincount(val_targets)}")

print("\n================ 2. 用户分组 K-Fold (GroupKFold) ================")
gkf = GroupKFold(n_splits=3)
for fold, (train_idx, val_idx) in enumerate(gkf.split(df, df['target'], groups=df['user_id'])):
    val_users = df.iloc[val_idx]['user_id'].unique()
    train_users = df.iloc[train_idx]['user_id'].unique()
    # 验证同一个用户是否跨集中
    intersection = set(val_users).intersection(set(train_users))
    print(f"Fold {fold+1} 验证集用户: {val_users} | 跨集交叉用户数: {len(intersection)}")

print("\n================ 3. 时间序列切分 (TimeSeriesSplit) ================")
tss = TimeSeriesSplit(n_splits=3)
for fold, (train_idx, val_idx) in enumerate(tss.split(df)):
    print(f"Fold {fold+1} 训练时间段: {df.iloc[train_idx]['timestamp'].dt.date.values[0]} ~ {df.iloc[train_idx]['timestamp'].dt.date.values[-1]}")
    print(f"       验证时间段: {df.iloc[val_idx]['timestamp'].dt.date.values[0]} ~ {df.iloc[val_idx]['timestamp'].dt.date.values[-1]}")

4. 常见错误与避坑指南

现象	先问什么	处理方式
把测试集 (Test) 用来调整学习率或选择树深度	是否违反了测试集隔离规则	测试集绝对禁用于任何超参数调整！超参数只能在 Validation 验证集上用交叉验证选取
时间序列预测中使用了 `StratifiedKFold` 随机洗牌	是否使用了未来的信息	时间序列数据严禁随机洗牌！必须使用 `TimeSeriesSplit`，保证训练时间严格早于验证时间
同一个用户的记录分布在 Train 和 Test 导致评估高分上线崩溃	样本是否存在实体聚合 `Group_ID`	必须改用 `GroupKFold` / `GroupShuffleSplit` 按照用户 ID 打包切分

检查清单 (Checklist)

能清楚说明训练集、验证集与测试集的职责划分与隔离要求。
能解释随机切分、分层抽样、分组切分与时间序列切分的适用场景。
能手算分层抽样与随机抽样在极度不平衡数据上的阳性样本分布差异。
能编写 Python 代码实现 StratifiedKFold、GroupKFold 与 TimeSeriesSplit。
能说明为什么在时间序列和多记录用户数据中盲目随机洗牌会导致严重信息泄漏。

自测题

在医疗诊断任务中，数据集中包含 1,000 名患者的 5,000 张 X 光照片（每人 5 张）。为了防止模型过度拟合患者个人特征，应该采用哪种切分策略？为什么？
解释：为什么在股票价格预测中，如果使用传统的 train_test_split(shuffle=True) 会导致严重的数据泄漏？
如果一个数据集包含 90% 的类别 0 和 10% 的类别 1，在进行 5 折交叉验证时，应该选用 KFold 还是 StratifiedKFold？
【代码阅读题】在上一节代码中，为什么 GroupKFold 验证输出的“跨集交叉用户数”结果恒等于 0？

点击查看参考答案

应该采用分组切分（GroupKFold），以 Patient_ID 作为分组键。这样可以确保同一个患者的所有 5 张照片全在训练集或全在测试集，防止模型通过记住患者独特的器官形状进行违规偷看（泄漏）。
因为 shuffle=True 会打乱时间顺序，导致测试集中包含时间上早于训练集的数据，或者训练集中包含了来自未来的数据（未来的股票波动泄漏给了过去），违背了只能用过去预测未来的现实逻辑。
应该选用 StratifiedKFold。因为它能保证在 5 个折（Fold）中，每个验证集中类别 1 的比例都稳定保持在 10%，避免某些 Fold 缺少少数类样本。
因为 GroupKFold 的核心设计机制就是将同一个 user_id 的所有数据记录强制打包在同一个 Fold 中，绝不拆分，因此训练集与验证集之间的用户交集必然为 0。

下一步

进入下一个专项 03. 预处理、编码与防数据泄漏铁律，学习缺失值填充、Scaler 缩放、类别编码，以及“所有 Transformer 的 fit 必须且只能在训练集上执行”的防泄漏铁律。

参考资料

scikit-learn: Cross-validation Guide：Scikit-Learn 各种 Splitter 的官方指南。
scikit-learn: Common pitfalls：数据切分与泄漏案例剖析。
Feature Engineering for Machine Learning：第 2 章预处理与切分最佳实践。

本页目录

从一个问题开始

1. 4 大数据集切分策略

1.1 随机切分 (Random Train/Test Split)

1.2 分层切分 (Stratified Split)

1.3 分组切分 (Group Split / GroupKFold)

1.4 时间序列切分 (Time-Series Split)

2. 手算演练

手算练习：随机抽样 vs 分层抽样在不平衡数据上的期望差异

3. 动手实战：三种结构化切分策略的代码实现

4. 常见错误与避坑指南

检查清单 (Checklist)

自测题

下一步

参考资料

核心概念术语表

\text{StratifiedKFold}

保持类别标签分布比例一致的分层切分

\text{GroupKFold}

防止同一实体/用户跨集合泄漏的分组切分

\text{TimeSeriesSplit}

按时间先后顺序防未来透题的时间序列切分

关联推荐笔记

查看全部

01. 数据字典、质量审计与 EDA 清单

数据工程 50 分钟

03. 预处理、编码与防数据泄漏铁律

预处理 55 分钟

从一个问题开始

在评估一个用户流失预测模型时，如果你直接把所有数据打乱做 8:2 随机切分，模型在测试集上可能能跑出 98% 的高分。但上线后真实效果却极其糟糕！

这一章我们将理清 Train/Val/Test 集合职责，深入推导 4 大数据集切分策略，并用 Python 代码验证如何通过分组与时间防火墙封堵信息泄漏。

初学者直觉：考试押题与时间防火墙

把数据集切分比作学校的考试流程：

训练集 (Train)：平时做练习题，模型用来学习参数。
验证集 (Val)：期中摸底考试，用来调整超参数（选择学习率、树的深度）。
测试集 (Test)：高考终极闭卷考试！绝对不能用来调参数！
Group 切分：同一名考生的所有平时作业，必须打包放在同一个集合里，不能拿该考生昨天的作业当明天的考题。
时间序列切分：只能用历史数据预测未来！严禁“穿越”到未来拿明天的股票价格预测今天的股价（未来信息泄露）。

1. 4 大数据集切分策略

1.1 随机切分 (Random Train/Test Split)

适用场景：样本独立同分布（i.i.d.），且类别比例相对均衡的标量表格数据。
局限：对不平衡数据或具相关性的结构数据失效。

1.2 分层切分 (Stratified Split)

适用场景：分类任务，尤其是类别不平衡数据（如欺诈检测 99.9% vs 0.1%）。
原理：确保训练集与测试集中的类别标签分布比例与总体比例完全一致。

1.3 分组切分 (Group Split / GroupKFold)

适用场景：多条记录归属于同一个实体（如同一病人的多张 CT 影像、同一用户的多条点击日志）。
原理：以 Group_ID 为切分单位，确保同一个 Group_ID 下的所有记录要么全在 Train，要么全在 Test，严禁跨集交叉！

1.4 时间序列切分 (Time-Series Split)

适用场景：股票价格预测、销量预测等随时间推移的动态数据。
原理：只能用时间 $t$ 之前的数据训练，预测 $t+1$ 之后的数据（使用滚动时间窗口 Rolling Window）。

2. 手算演练

手算练习：随机抽样 vs 分层抽样在不平衡数据上的期望差异

假设某个罕见病数据集共有 1,000 个样本，其中只有 50 个阳性患者（阳性率 $p = 5\%$ ），其余 950 个为阴性。现抽取 $n = 100$ 个样本作为测试集：

分层抽样 (Stratified Sampling) 手算：
- 严格锁定阳性比例 $5\%$ ：

\text{阳性样本数} = 100 \times 5\% = 5 \text{ 个}

\text{阴性样本数} = 100 \times 95\% = 95 \text{ 个}

无论运行多少次，测试集里始终稳定包含恰好 5 个阳性样本！

纯随机抽样 (Random Sampling) 超几何分布波动手算：
- 测试集中抽取到 0 个阳性样本的概率：

P(K = 0) = \frac{\binom{50}{0} \binom{950}{100}}{\binom{1000}{100}} \approx 0.584\%

即在随机抽样下，有近 0.6% 的概率测试集里一个阳性样本都没有！导致模型在测试集上无法评估 Recall。这严密证明了：对于不平衡分类，必须强制使用分层抽样 (Stratified Split)！

3. 动手实战：三种结构化切分策略的代码实现

下面的代码演示如何使用 Scikit-Learn 实现分类分层、Group 隔离与时间序列切分：

Stratified, Group与 TimeSeries 3种切分代码实战

import numpy as np

import pandas as pd

from sklearn.model_selection import StratifiedKFold, GroupKFold, TimeSeriesSplit

# 1. 构造演示数据集

np.random.seed(42)

N = 12

df = pd.DataFrame({

'user_id': [101, 101, 101, 102, 102, 103, 103, 104, 104, 105, 105, 105], # 5 个用户

'timestamp': pd.date_range(start='2026-01-01', periods=N, freq='D'),

'feature': np.random.randn(N),

'target': [0, 0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1] # 不平衡标签

})

print("================ 1. 分层 K-Fold (StratifiedKFold) ================")

skf = StratifiedKFold(n_splits=3)

for fold, (train_idx, val_idx) in enumerate(skf.split(df, df['target'])):

val_targets = df.iloc[val_idx]['target'].values

print(f"Fold {fold+1} 验证集索引: {val_idx} | 标签分布: {np.bincount(val_targets)}")

print("\n================ 2. 用户分组 K-Fold (GroupKFold) ================")

gkf = GroupKFold(n_splits=3)

for fold, (train_idx, val_idx) in enumerate(gkf.split(df, df['target'], groups=df['user_id'])):

val_users = df.iloc[val_idx]['user_id'].unique()

train_users = df.iloc[train_idx]['user_id'].unique()

# 验证同一个用户是否跨集中

intersection = set(val_users).intersection(set(train_users))

print(f"Fold {fold+1} 验证集用户: {val_users} | 跨集交叉用户数: {len(intersection)}")

print("\n================ 3. 时间序列切分 (TimeSeriesSplit) ================")

tss = TimeSeriesSplit(n_splits=3)

for fold, (train_idx, val_idx) in enumerate(tss.split(df)):

print(f"Fold {fold+1} 训练时间段: {df.iloc[train_idx]['timestamp'].dt.date.values[0]} ~ {df.iloc[train_idx]['timestamp'].dt.date.values[-1]}")

print(f" 验证时间段: {df.iloc[val_idx]['timestamp'].dt.date.values[0]} ~ {df.iloc[val_idx]['timestamp'].dt.date.values[-1]}")

import numpy as np
import pandas as pd
from sklearn.model_selection import StratifiedKFold, GroupKFold, TimeSeriesSplit

4. 常见错误与避坑指南

现象	先问什么	处理方式
把测试集 (Test) 用来调整学习率或选择树深度	是否违反了测试集隔离规则	测试集绝对禁用于任何超参数调整！超参数只能在 Validation 验证集上用交叉验证选取
时间序列预测中使用了 `StratifiedKFold` 随机洗牌	是否使用了未来的信息	时间序列数据严禁随机洗牌！必须使用 `TimeSeriesSplit`，保证训练时间严格早于验证时间
同一个用户的记录分布在 Train 和 Test 导致评估高分上线崩溃	样本是否存在实体聚合 `Group_ID`	必须改用 `GroupKFold` / `GroupShuffleSplit` 按照用户 ID 打包切分

检查清单 (Checklist)

能清楚说明训练集、验证集与测试集的职责划分与隔离要求。
能解释随机切分、分层抽样、分组切分与时间序列切分的适用场景。
能手算分层抽样与随机抽样在极度不平衡数据上的阳性样本分布差异。
能编写 Python 代码实现 StratifiedKFold、GroupKFold 与 TimeSeriesSplit。
能说明为什么在时间序列和多记录用户数据中盲目随机洗牌会导致严重信息泄漏。

自测题

在医疗诊断任务中，数据集中包含 1,000 名患者的 5,000 张 X 光照片（每人 5 张）。为了防止模型过度拟合患者个人特征，应该采用哪种切分策略？为什么？
解释：为什么在股票价格预测中，如果使用传统的 train_test_split(shuffle=True) 会导致严重的数据泄漏？
如果一个数据集包含 90% 的类别 0 和 10% 的类别 1，在进行 5 折交叉验证时，应该选用 KFold 还是 StratifiedKFold？
【代码阅读题】在上一节代码中，为什么 GroupKFold 验证输出的“跨集交叉用户数”结果恒等于 0？

点击查看参考答案

应该采用分组切分（GroupKFold），以 Patient_ID 作为分组键。这样可以确保同一个患者的所有 5 张照片全在训练集或全在测试集，防止模型通过记住患者独特的器官形状进行违规偷看（泄漏）。
因为 shuffle=True 会打乱时间顺序，导致测试集中包含时间上早于训练集的数据，或者训练集中包含了来自未来的数据（未来的股票波动泄漏给了过去），违背了只能用过去预测未来的现实逻辑。
应该选用 StratifiedKFold。因为它能保证在 5 个折（Fold）中，每个验证集中类别 1 的比例都稳定保持在 10%，避免某些 Fold 缺少少数类样本。
因为 GroupKFold 的核心设计机制就是将同一个 user_id 的所有数据记录强制打包在同一个 Fold 中，绝不拆分，因此训练集与验证集之间的用户交集必然为 0。

下一步

参考资料

scikit-learn: Cross-validation Guide：Scikit-Learn 各种 Splitter 的官方指南。
scikit-learn: Common pitfalls：数据切分与泄漏案例剖析。
Feature Engineering for Machine Learning：第 2 章预处理与切分最佳实践。