准备知识33 章节

Python 与科学计算

9 篇

01.Python 环境与 Notebook 02.变量、类型与表达式 03.控制流与推导式 04.核心数据结构 05.函数、作用域与函数式工具 06.模块、包与配置 07.文件、异常、调试与测试 08.NumPy 数值计算与向量化 09. Pandas 数据分析与表格操作实战

数学基础（线代、微积分与概率统计）

15 篇

01.向量、矩阵与余弦相似度 02.矩阵运算、秩与几何变换 03.基、Gram-Schmidt 与最小二乘 04.特征值分解、对角化与正定矩阵 05.SVD 分解与 PCA 降维实战 06. 偏导数、链式法则与计算图 07. 梯度、Jacobian/Hessian 与凸性 08. 梯度下降算法：Batch, SGD 与 Mini-batch 09. 现代优化器：Momentum, RMSProp 与 Adam 10. 损失函数思想与凸函数极小化 11. 随机变量、条件概率与贝叶斯定理 12. 常见分布、期望方差与协方差 13. 大数定律、中心极限定理与 Bootstrap 14. MLE, MAP 与高斯-MSE/伯努利-BCE 推导 15. 假设检验、p值、效应量与 A/B 测试实战

数据处理与特征工程

5 篇

01. 数据字典、质量审计与 EDA 清单 02. 随机、分层、分组与时间序列切分 03. 预处理、编码与防数据泄漏铁律 04. 特征构造、多重共线性与类别不平衡消融 05. ColumnTransformer, Pipeline 与模型持久化

实验与工程习惯

4 篇

01. 规范仓库结构、YAML 配置与随机性控制 02. 模块化代码重构与 pytest 5大契约测试 03. 结构化实验记录 runs/ 与误分类错误分析 04. 端到端从零复现、多模型基线对比与报告

本模块进度0%

已完成 0 / 33 个章节

查看知识全景图

笔记库/准备知识/04. 端到端从零复现、多模型基线对比与报告

← 返回知识地图

04. 端到端从零复现、多模型基线对比与报告

难度: 中等预计阅读 60 分钟学习进度 0%

核心导读

掌握在干净虚拟环境中从零一键复现实验，建立 Dummy, 线性与树模型多级基线对比，并撰写规范的项目总结报告。

从一个问题开始

如果某个 AI 项目声称模型准确率达到了 85%，但如果该数据集本身的正例比例恰好就是 85%，那么任何一个“盲猜多数类”的傻瓜模型也能轻松达到 85%！如果不建立 Dummy 傻瓜基线模型，你如何证明你精心设计的复杂模型真正产生了业务价值？

更进一步，如何证明你的项目具备真正的端到端可复现性（Reproducibility）？

这一章是阶段 0 的终极封顶之作！我们将学习如何建立【Dummy 模型 $\to$ 线性模型 $\to$ 树模型】三级阶梯基线，在全新的干净虚拟环境中从零一键复现实验，并撰写工业级机器学习总结报告。

初学者直觉：菜谱复刻与考试地板线

把端到端复现与基线对比比作顶级菜谱复刻与考试地板线：

Dummy 傻瓜基线：考试的地板线。如果单选题全部选 C 就能拿 25 分（Dummy 基线），那么你考 30 分其实只比零基础盲猜高了一点点！模型必须远超 Dummy 基线才有价值！
端到端一键复现：严谨的菜谱。任何一个新厨师，在一个全新的干净厨房里，只需要按照 README.md 执行一条命令 python train.py，就能做出味道和评价指标完全一模一样的名菜！

1. 三级基线对比与可复现验收

1.1 三级阶梯基线 (Multi-Level Baselines) 规范

严禁在没有基线参照的情况下盲目上复杂模型。必须建立三级阶梯：

第一级：Dummy 傻瓜基线 (DummyClassifier)：
- 策略：盲猜多数类 (most_frequent) 或按频率随机猜 (stratified)。
- 作用：确立业绩绝对底线，防止被不平衡数据准确率骗过。
第二级：线性基线 (Linear Baseline - LogisticRegression)：
- 作用：具备高度可解释性的线性分类基线。
第三级：非线性/树模型基线 (Tree Baseline - RandomForestClassifier)：
- 作用：捕获特征间非线性交互作用的增强基线。

1.2 清洁环境可复现性 (Clean Env Reproducibility) 验收

能在自己的机器上运行成功不叫成功，必须满足新环境一键复现：

步骤 1：创建全新的干净虚拟环境：python -m venv venv_clean。
步骤 2：安装锁定依赖：pip install -r requirements.txt。
步骤 3：运行 README 约定的单条命令：python src/train.py --config configs/baseline.yaml。
验证：输出的指标与 reports/ 下的报告数值同在可接受容差范围内（同量级）。

2. 手算演练

手算练习：相对 Dummy 傻瓜模型的净提升率手算

假设在一个不平衡数据集中：

多数类占比为 $80\%$ ，因此 Dummy 傻瓜模型的准确率 $\text{Acc}_{\text{dummy}} = 0.80$ 。
线性模型 A 的准确率 $\text{Acc}_{\text{model\_A}} = 0.86$ 。
树模型 B 的准确率 $\text{Acc}_{\text{model\_B}} = 0.94$ 。

计算模型 A 相比 Dummy 的相对净提升率 $\text{Gain}_A$ ：
- 理论最大可提升空间： $1 - \text{Acc}_{\text{dummy}} = 1 - 0.80 = 0.20$
- 实际提升量： $\text{Acc}_{\text{model\_A}} - \text{Acc}_{\text{dummy}} = 0.86 - 0.80 = 0.06$
- 相对净提升率：

\text{Gain}_A = \frac{0.06}{0.20} \times 100\% = \mathbf{30.0\%}

计算模型 B 相比 Dummy 的相对净提升率 $\text{Gain}_B$ ：
- 实际提升量： $0.94 - 0.80 = 0.14$
- 相对净提升率：

\text{Gain}_B = \frac{0.14}{0.20} \times 100\% = \mathbf{70.0\%}

手算说明：单纯看从 86% 到 94% 好像只涨了 8 个点，但相比 Dummy 模型的净提升率从 30% 暴涨到了 70%！手算证明了树模型对剩余难预测空间的强悍开辟能力！

3. 动手实战：从零构建多模型对比与一键复现报告脚本

下面的代码演示如何构建 Dummy、线性与树模型的三组对比，并输出工业级报告格式：

三级模型基线对比与总结报告生成代码

import numpy as np

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.dummy import DummyClassifier

from sklearn.linear_model import LogisticRegression

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import accuracy_score, f1_score, precision_score, recall_score

# 1. 构造演示数据集 (模拟 UCI Adult 数据集特征)

np.random.seed(42)

N = 400

X = np.random.randn(N, 4)

# 构造非线性边界与不平衡标签 (80% 0 / 20% 1)

y = ((X[:, 0]**2 + X[:, 1]*2.0) > 1.8).astype(int)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 2. 定义三级模型

models = {

"1. Dummy 盲猜多数类 (底线)": DummyClassifier(strategy="most_frequent"),

"2. LogisticRegression (线性)": LogisticRegression(random_state=42),

"3. RandomForest (非线性树)": RandomForestClassifier(n_estimators=30, random_state=42)

}

# 3. 遍历评估并计算相对 Dummy 的净提升率

dummy_acc = None

report_rows = []

for name, model in models.items():

model.fit(X_train, y_train)

preds = model.predict(X_test)

acc = accuracy_score(y_test, preds)

f1 = f1_score(y_test, preds, zero_division=0)

prec = precision_score(y_test, preds, zero_division=0)

rec = recall_score(y_test, preds, zero_division=0)

if "Dummy" in name:

dummy_acc = acc

gain_str = "0.0% (基线)"

else:

gain = (acc - dummy_acc) / (1.0 - dummy_acc) * 100 if dummy_acc < 1.0 else 0

gain_str = f"+{gain:.1f}%"

report_rows.append({

"模型阶梯": name,

"Accuracy": f"{acc*100:.2f}%",

"F1-Score": f"{f1:.4f}",

"Precision": f"{prec:.4f}",

"Recall": f"{rec:.4f}",

"相对Dummy净提升": gain_str

})

report_df = pd.DataFrame(report_rows)

print("================ 工业级多模型基线对比报告 (Multi-Baseline Report) ================")

print(report_df.to_string(index=False))

print("-----------------------------------------------------------------------------------")

print("💡 结论：RandomForest 相比 Dummy 盲猜底线实现了明显的净提升，成功捕获特征非线性交互。")

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, f1_score, precision_score, recall_score

# 1. 构造演示数据集 (模拟 UCI Adult 数据集特征)
np.random.seed(42)
N = 400
X = np.random.randn(N, 4)
# 构造非线性边界与不平衡标签 (80% 0 / 20% 1)
y = ((X[:, 0]**2 + X[:, 1]*2.0) > 1.8).astype(int)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 2. 定义三级模型
models = {
    "1. Dummy 盲猜多数类 (底线)": DummyClassifier(strategy="most_frequent"),
    "2. LogisticRegression (线性)": LogisticRegression(random_state=42),
    "3. RandomForest (非线性树)": RandomForestClassifier(n_estimators=30, random_state=42)
}

# 3. 遍历评估并计算相对 Dummy 的净提升率
dummy_acc = None
report_rows = []

for name, model in models.items():
    model.fit(X_train, y_train)
    preds = model.predict(X_test)
    
    acc = accuracy_score(y_test, preds)
    f1 = f1_score(y_test, preds, zero_division=0)
    prec = precision_score(y_test, preds, zero_division=0)
    rec = recall_score(y_test, preds, zero_division=0)
    
    if "Dummy" in name:
        dummy_acc = acc
        gain_str = "0.0% (基线)"
    else:
        gain = (acc - dummy_acc) / (1.0 - dummy_acc) * 100 if dummy_acc < 1.0 else 0
        gain_str = f"+{gain:.1f}%"
        
    report_rows.append({
        "模型阶梯": name,
        "Accuracy": f"{acc*100:.2f}%",
        "F1-Score": f"{f1:.4f}",
        "Precision": f"{prec:.4f}",
        "Recall": f"{rec:.4f}",
        "相对Dummy净提升": gain_str
    })

report_df = pd.DataFrame(report_rows)

print("================ 工业级多模型基线对比报告 (Multi-Baseline Report) ================")
print(report_df.to_string(index=False))
print("-----------------------------------------------------------------------------------")
print("💡 结论：RandomForest 相比 Dummy 盲猜底线实现了明显的净提升，成功捕获特征非线性交互。")

4. 常见错误与避坑指南

现象	先问什么	处理方式
项目没有 Dummy 基线，宣称 85% 准确率模型很优秀	数据集的多数类占比是多少	必须包含 `DummyClassifier`，如果多数类就是 85%，85% 准确率说明模型毫无用处
README 中没有写明依赖库的具体版本	别人在不同版本库下能否复现	必须使用 `pip freeze > requirements.txt` 锁死依赖库的具体版本号
在新的干净虚拟环境运行 README 命令出现路径缺失	是否在代码里假设了某目录已经存在	源码中创建文件前必须先执行 `os.makedirs(dir, exist_ok=True)` 自动创建目录

检查清单 (Checklist)

能解释建立 Dummy 盲猜多数类基线模型的必要性。
能阐述【Dummy $\to$ 线性模型 $\to$ 树模型】三级阶梯对比架构。
能手算模型相比 Dummy 傻瓜基线的相对净提升率 $\text{Gain}$ 。
能在全新的干净虚拟环境（Clean Virtual Environment）中成功复现全套实验。
能编写 Python 代码生成包含 Accuracy, F1-Score 与净提升率的工业级评估报告。

自测题

在某二分类任务中，训练集中 0 占 90%，1 占 10%。DummyClassifier(strategy='most_frequent') 在测试集上的 Accuracy 和 Recall 分别是多少？
解释：为什么说即使树模型的 Accuracy 达到 95%，在未与 Dummy 基线对比前仍不能断言模型有效？
在撰写 README.md 时，一个标准的可复现运行指南至少需要包含哪三个步骤？
【代码阅读题】在上一节代码中，gain = (acc - dummy_acc) / (1.0 - dummy_acc) 公式分母上 (1.0 - dummy_acc) 的几何物理含义是什么？

点击查看参考答案

Accuracy 为 90.0%（因为盲猜全为 0，猜对了 90% 的多数类）；对类别 1 的 Recall 为 0.0%（因为完全没有预测出任何 1）。
因为如果数据集本身极其不平衡（例如多数类占比高达 95%），盲猜多数类的 Dummy 模型就能直接达到 95% 的 Accuracy；只有当模型的 Accuracy 或 F1-Score 显著超越了 95% 的底线，才能证明模型学习到了真正有价值的特征规律。
至少包含：① 创建与激活虚拟环境命令；② 安装依赖命令（pip install -r requirements.txt）；③ 运行端到端训练与评估的单条命令（如 python src/train.py）。
分母 (1.0 - dummy_acc) 代表 Dummy 盲猜基线之上的理论最大可提升空间（Remaining Headroom）；分子代表实际提升的绝对量，两者相除即为模型在剩余难度空间上的实际利用率/净提升率。

终章总结与下一步

🎉 恭喜你！你已经成功通关了准备知识阶段（Stage 0）的全部课程！

从 Python 科学计算、线性代数、微积分与优化、概率与统计，到数据处理与特征工程、实验与工程习惯，你已经搭建起了无无比坚实的 AI 预备知识与工程底座！

请准备迈入下一阶段：阶段 1: 经典机器学习算法与模型！

参考资料

scikit-learn: DummyClassifier API：Dummy 傻瓜基线官方文档。
scikit-learn: Model Evaluation Guide：模型评估与多维度指标。
Reproducible Research in Pattern Recognition：数据科学与机器学习复现规范。

本页目录

从一个问题开始

1. 三级基线对比与可复现验收

1.1 三级阶梯基线 (Multi-Level Baselines) 规范

1.2 清洁环境可复现性 (Clean Env Reproducibility) 验收

2. 手算演练

手算练习：相对 Dummy 傻瓜模型的净提升率手算

3. 动手实战：从零构建多模型对比与一键复现报告脚本

4. 常见错误与避坑指南

检查清单 (Checklist)

自测题

终章总结与下一步

参考资料

核心概念术语表

\text{DummyClassifier(strategy='most\_frequent')}

朴素盲猜多数类的底线模型

\text{Improvement} = \frac{\text{Acc}_{\text{model}} - \text{Acc}_{\text{dummy}}}{1 - \text{Acc}_{\text{dummy}}}

相比 Dummy 傻瓜模型的相对净提升率

关联推荐笔记

查看全部

03. 结构化实验记录 runs/ 与误分类错误分析

实验跟踪 60 分钟

从一个问题开始

更进一步，如何证明你的项目具备真正的端到端可复现性（Reproducibility）？

初学者直觉：菜谱复刻与考试地板线

把端到端复现与基线对比比作顶级菜谱复刻与考试地板线：

Dummy 傻瓜基线：考试的地板线。如果单选题全部选 C 就能拿 25 分（Dummy 基线），那么你考 30 分其实只比零基础盲猜高了一点点！模型必须远超 Dummy 基线才有价值！
端到端一键复现：严谨的菜谱。任何一个新厨师，在一个全新的干净厨房里，只需要按照 README.md 执行一条命令 python train.py，就能做出味道和评价指标完全一模一样的名菜！

1. 三级基线对比与可复现验收

1.1 三级阶梯基线 (Multi-Level Baselines) 规范

严禁在没有基线参照的情况下盲目上复杂模型。必须建立三级阶梯：

第一级：Dummy 傻瓜基线 (DummyClassifier)：
- 策略：盲猜多数类 (most_frequent) 或按频率随机猜 (stratified)。
- 作用：确立业绩绝对底线，防止被不平衡数据准确率骗过。
第二级：线性基线 (Linear Baseline - LogisticRegression)：
- 作用：具备高度可解释性的线性分类基线。
第三级：非线性/树模型基线 (Tree Baseline - RandomForestClassifier)：
- 作用：捕获特征间非线性交互作用的增强基线。

1.2 清洁环境可复现性 (Clean Env Reproducibility) 验收

能在自己的机器上运行成功不叫成功，必须满足新环境一键复现：

步骤 1：创建全新的干净虚拟环境：python -m venv venv_clean。
步骤 2：安装锁定依赖：pip install -r requirements.txt。
步骤 3：运行 README 约定的单条命令：python src/train.py --config configs/baseline.yaml。
验证：输出的指标与 reports/ 下的报告数值同在可接受容差范围内（同量级）。

2. 手算演练

手算练习：相对 Dummy 傻瓜模型的净提升率手算

假设在一个不平衡数据集中：

多数类占比为 $80\%$ ，因此 Dummy 傻瓜模型的准确率 $\text{Acc}_{\text{dummy}} = 0.80$ 。
线性模型 A 的准确率 $\text{Acc}_{\text{model\_A}} = 0.86$ 。
树模型 B 的准确率 $\text{Acc}_{\text{model\_B}} = 0.94$ 。

计算模型 A 相比 Dummy 的相对净提升率 $\text{Gain}_A$ ：
- 理论最大可提升空间： $1 - \text{Acc}_{\text{dummy}} = 1 - 0.80 = 0.20$
- 实际提升量： $\text{Acc}_{\text{model\_A}} - \text{Acc}_{\text{dummy}} = 0.86 - 0.80 = 0.06$
- 相对净提升率：

\text{Gain}_A = \frac{0.06}{0.20} \times 100\% = \mathbf{30.0\%}

计算模型 B 相比 Dummy 的相对净提升率 $\text{Gain}_B$ ：
- 实际提升量： $0.94 - 0.80 = 0.14$
- 相对净提升率：

\text{Gain}_B = \frac{0.14}{0.20} \times 100\% = \mathbf{70.0\%}

3. 动手实战：从零构建多模型对比与一键复现报告脚本

下面的代码演示如何构建 Dummy、线性与树模型的三组对比，并输出工业级报告格式：

三级模型基线对比与总结报告生成代码

import numpy as np

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.dummy import DummyClassifier

from sklearn.linear_model import LogisticRegression

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import accuracy_score, f1_score, precision_score, recall_score

# 1. 构造演示数据集 (模拟 UCI Adult 数据集特征)

np.random.seed(42)

N = 400

X = np.random.randn(N, 4)

# 构造非线性边界与不平衡标签 (80% 0 / 20% 1)

y = ((X[:, 0]**2 + X[:, 1]*2.0) > 1.8).astype(int)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 2. 定义三级模型

models = {

"1. Dummy 盲猜多数类 (底线)": DummyClassifier(strategy="most_frequent"),

"2. LogisticRegression (线性)": LogisticRegression(random_state=42),

"3. RandomForest (非线性树)": RandomForestClassifier(n_estimators=30, random_state=42)

}

# 3. 遍历评估并计算相对 Dummy 的净提升率

dummy_acc = None

report_rows = []

for name, model in models.items():

model.fit(X_train, y_train)

preds = model.predict(X_test)

acc = accuracy_score(y_test, preds)

f1 = f1_score(y_test, preds, zero_division=0)

prec = precision_score(y_test, preds, zero_division=0)

rec = recall_score(y_test, preds, zero_division=0)

if "Dummy" in name:

dummy_acc = acc

gain_str = "0.0% (基线)"

else:

gain = (acc - dummy_acc) / (1.0 - dummy_acc) * 100 if dummy_acc < 1.0 else 0

gain_str = f"+{gain:.1f}%"

report_rows.append({

"模型阶梯": name,

"Accuracy": f"{acc*100:.2f}%",

"F1-Score": f"{f1:.4f}",

"Precision": f"{prec:.4f}",

"Recall": f"{rec:.4f}",

"相对Dummy净提升": gain_str

})

report_df = pd.DataFrame(report_rows)

print("================ 工业级多模型基线对比报告 (Multi-Baseline Report) ================")

print(report_df.to_string(index=False))

print("-----------------------------------------------------------------------------------")

print("💡 结论：RandomForest 相比 Dummy 盲猜底线实现了明显的净提升，成功捕获特征非线性交互。")

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 3. 遍历评估并计算相对 Dummy 的净提升率
dummy_acc = None
report_rows = []

report_df = pd.DataFrame(report_rows)

4. 常见错误与避坑指南

现象	先问什么	处理方式
项目没有 Dummy 基线，宣称 85% 准确率模型很优秀	数据集的多数类占比是多少	必须包含 `DummyClassifier`，如果多数类就是 85%，85% 准确率说明模型毫无用处
README 中没有写明依赖库的具体版本	别人在不同版本库下能否复现	必须使用 `pip freeze > requirements.txt` 锁死依赖库的具体版本号
在新的干净虚拟环境运行 README 命令出现路径缺失	是否在代码里假设了某目录已经存在	源码中创建文件前必须先执行 `os.makedirs(dir, exist_ok=True)` 自动创建目录

检查清单 (Checklist)

能解释建立 Dummy 盲猜多数类基线模型的必要性。
能阐述【Dummy $\to$ 线性模型 $\to$ 树模型】三级阶梯对比架构。
能手算模型相比 Dummy 傻瓜基线的相对净提升率 $\text{Gain}$ 。
能在全新的干净虚拟环境（Clean Virtual Environment）中成功复现全套实验。
能编写 Python 代码生成包含 Accuracy, F1-Score 与净提升率的工业级评估报告。

自测题

在某二分类任务中，训练集中 0 占 90%，1 占 10%。DummyClassifier(strategy='most_frequent') 在测试集上的 Accuracy 和 Recall 分别是多少？
解释：为什么说即使树模型的 Accuracy 达到 95%，在未与 Dummy 基线对比前仍不能断言模型有效？
在撰写 README.md 时，一个标准的可复现运行指南至少需要包含哪三个步骤？
【代码阅读题】在上一节代码中，gain = (acc - dummy_acc) / (1.0 - dummy_acc) 公式分母上 (1.0 - dummy_acc) 的几何物理含义是什么？

点击查看参考答案

Accuracy 为 90.0%（因为盲猜全为 0，猜对了 90% 的多数类）；对类别 1 的 Recall 为 0.0%（因为完全没有预测出任何 1）。
因为如果数据集本身极其不平衡（例如多数类占比高达 95%），盲猜多数类的 Dummy 模型就能直接达到 95% 的 Accuracy；只有当模型的 Accuracy 或 F1-Score 显著超越了 95% 的底线，才能证明模型学习到了真正有价值的特征规律。
至少包含：① 创建与激活虚拟环境命令；② 安装依赖命令（pip install -r requirements.txt）；③ 运行端到端训练与评估的单条命令（如 python src/train.py）。
分母 (1.0 - dummy_acc) 代表 Dummy 盲猜基线之上的理论最大可提升空间（Remaining Headroom）；分子代表实际提升的绝对量，两者相除即为模型在剩余难度空间上的实际利用率/净提升率。

终章总结与下一步

🎉 恭喜你！你已经成功通关了准备知识阶段（Stage 0）的全部课程！

请准备迈入下一阶段：阶段 1: 经典机器学习算法与模型！

参考资料

scikit-learn: DummyClassifier API：Dummy 傻瓜基线官方文档。
scikit-learn: Model Evaluation Guide：模型评估与多维度指标。
Reproducible Research in Pattern Recognition：数据科学与机器学习复现规范。