准备知识33 章节

Python 与科学计算

9 篇

01.Python 环境与 Notebook 02.变量、类型与表达式 03.控制流与推导式 04.核心数据结构 05.函数、作用域与函数式工具 06.模块、包与配置 07.文件、异常、调试与测试 08.NumPy 数值计算与向量化 09. Pandas 数据分析与表格操作实战

数学基础（线代、微积分与概率统计）

15 篇

01.向量、矩阵与余弦相似度 02.矩阵运算、秩与几何变换 03.基、Gram-Schmidt 与最小二乘 04.特征值分解、对角化与正定矩阵 05.SVD 分解与 PCA 降维实战 06. 偏导数、链式法则与计算图 07. 梯度、Jacobian/Hessian 与凸性 08. 梯度下降算法：Batch, SGD 与 Mini-batch 09. 现代优化器：Momentum, RMSProp 与 Adam 10. 损失函数思想与凸函数极小化 11. 随机变量、条件概率与贝叶斯定理 12. 常见分布、期望方差与协方差 13. 大数定律、中心极限定理与 Bootstrap 14. MLE, MAP 与高斯-MSE/伯努利-BCE 推导 15. 假设检验、p值、效应量与 A/B 测试实战

数据处理与特征工程

5 篇

01. 数据字典、质量审计与 EDA 清单 02. 随机、分层、分组与时间序列切分 03. 预处理、编码与防数据泄漏铁律 04. 特征构造、多重共线性与类别不平衡消融 05. ColumnTransformer, Pipeline 与模型持久化

实验与工程习惯

4 篇

01. 规范仓库结构、YAML 配置与随机性控制 02. 模块化代码重构与 pytest 5大契约测试 03. 结构化实验记录 runs/ 与误分类错误分析 04. 端到端从零复现、多模型基线对比与报告

本模块进度0%

已完成 0 / 33 个章节

查看知识全景图

笔记库/准备知识/15. 假设检验、p值、效应量与 A/B 测试实战

← 返回知识地图

15. 假设检验、p值、效应量与 A/B 测试实战

难度: 中等预计阅读 60 分钟学习进度 0%

核心导读

掌握原假设与备择假设，澄清 p 值的真实含义，理解效应量与多重比较 Bonferroni 修正，手写 A/B 测试报告并与 SciPy 对照。

从一个问题开始

在互联网大厂做产品改进时，上线了一个新的按钮颜色（A/B 测试）。新按钮的点击转化率从 5.0% 提升到了 5.2%。请问：这 0.2% 的提升究竟是新按钮真的更好，还是仅仅因为运气好抽样产生的随机波动？

答案要靠假设检验与 A/B 测试。这一章我们将理清 $p$ 值的数学物理本质，手算 $z$-统计量，避免多重比较陷阱，并手写一份工业级 A/B 测试评估分析报告。

初学者直觉：法庭审判的“无罪推定” (Presumption of Innocence)

把假设检验比作法庭审判：

原假设 $H_0$ （无罪推定）：默认被告是无辜的（即新方案与旧方案没有任何区别，提升全是随机运气）。
收集证据（采样数据）：如果搜集到的证据极度反常、在被告无辜的前提下发生的概率极低（ $p < 0.05$ ）。
拒绝原假设 $H_0$ （宣判有罪）：证据确凿，推翻无罪假设，承认新方案确实有效！

$双侧假设检验拒绝域与 p 值拒绝域示意图$ 点击放大查看图：双侧假设检验拒绝域与 p 值拒绝域示意图

1. 假设检验基本框架

💡 后续机器学习预告：假设检验与模型显著性评估

在后续【阶段 1 机器学习】产品迭代中，我们将使用假设检验来对比新旧模型算法的离线与在线表现（A/B 测试）。在数学阶段，我们重点掌握原假设 $H_0$ 、 $p$ 值与显著性水平 $\alpha$ 的定义！

第一类错误、第二类错误与检验功效 Power 双正态重叠曲线示意图点击放大查看图：第一类错误、第二类错误与检验功效 Power 双正态重叠曲线示意图

1.1 原假设 $H_0$ 与备择假设 $H_1$

原假设 $H_0$ ：没有效果、没有差异的基准假设（如 $\mu_A = \mu_B$ ）。
备择假设 $H_1$ ：存在显著差异的假设（如 $\mu_A \ne \mu_B$ 或 $\mu_A > \mu_B$ ）。

1.2 两类错误与检验功效 (Power)

真实情况 \ 检验决策	接受 $H_0$ (认为无差异)	拒绝 $H_0$ (认为有差异)
$H_0$ 实际上成立	✅ 决策正确 ( $1-\alpha$ )	❌ 第一类错误 Type I ( $\alpha$ ) (假阳性)
$H_0$ 实际上不成立	❌ 第二类错误 Type II ( $\beta$ ) (假阴性)	✅ 检验功效 Power ( $1-\beta$ )

常用的显著性水平 $\alpha = 0.05$ 。检验功效 Power ( $1-\beta$ ) 表示当新方案确实有效时，我们能够成功检测出来的概率（工业界要求 Power $\ge 80\%$ ）。

2. p 值的真实含义与 Cohen's d 效应量

2.1 p 值（p-value）的严密定义

$p$ 值是指：在原假设 $H_0$ 成立的假设下，观察到当前数据或比当前数据更加极端情况的概率！

$p < 0.05$ ：说明在“无差异”的假设下当前结果极难发生，因而拒绝 $H_0$ 。
误区警示： $p$ 值绝不等于 $H_0$ 成立的概率，也不等于新方案有效的概率！

2.2 效应量 (Effect Size: Cohen's d)

在大数据时代（如 $N = 10,000,000$ ），哪怕微乎其微的 0.0001 提升也能算出来 $p < 0.001$ 。但这个提升在商业上可能毫无价值！因此必须查看效应量 Cohen's d（标准化均值差）：

d = \frac{\bar{X}_A - \bar{X}_B}{s_{\text{pooled}}}

$d = 0.2$ （小效应）， $d = 0.5$ （中等效应）， $d = 0.8$ （大效应）。

2.3 多重比较风险 (Multiple Testing Hazard)

如果同时测试 20 个不同的按钮颜色，即使所有颜色都毫无效果，按照 $\alpha = 0.05$ ，也几乎100% 概率会有一个颜色犯第一类错误误报为“显著有效”！解决方法：使用 Bonferroni 修正，将显著性水平调整为 $\alpha_{\text{new}} = \frac{\alpha}{k}$ 。

3. 手算演练

手算练习：双样本 A/B 测试 z-检验手算

假设某电商网站进行 A/B 测试：

组 A（旧页面）： $n_A = 10,000$ ，转化率 $p_A = 0.050$ （标准误 $SE_A = \sqrt{\frac{0.05 \times 0.95}{10000}} = 0.002179$ ）
组 B（新页面）： $n_B = 10,000$ ，转化率 $p_B = 0.058$ （标准误 $SE_B = \sqrt{\frac{0.058 \times 0.942}{10000}} = 0.002337$ ）

计算联合标准误 $SE_{\text{diff}}$ ：

\text{SE}_{\text{diff}} = \sqrt{\text{SE}_A^2 + \text{SE}_B^2} = \sqrt{0.002179^2 + 0.002337^2} = \sqrt{4.748\times 10^{-6} + 5.461\times 10^{-6}} \approx 0.003195

计算 $z$ -统计量：

z = \frac{p_B - p_A}{\text{SE}_{\text{diff}}} = \frac{0.058 - 0.050}{0.003195} = \frac{0.008}{0.003195} \approx 2.504

对比临界值得出结论：双侧检验 $\alpha = 0.05$ 对应的临界值为 $z_{\text{crit}} = \pm 1.96$ 。因为 $z = 2.504 > 1.96$ ，统计量落入拒绝域！拒绝原假设 $H_0$ ，新页面转化率显著提升！

4. 动手实战：手写 A/B 测试分析报告与 SciPy 对照

下面的代码模拟 A/B 测试，手写计算转化率提升、经验 95% 置信区间与 $p$ 值，并与 scipy.stats.ttest_ind 结果核对：

A/B 测试实验分析报告与 SciPy 检验代码

import numpy as np

from scipy import stats

rng = np.random.default_rng(seed=42)

# 1. 模拟 A/B 测试数据 (A 组 0.05 转化率，B 组 0.058 转化率)

nA, nB = 5000, 5000

data_A = rng.choice([1, 0], size=nA, p=[0.050, 0.950])

data_B = rng.choice([1, 0], size=nB, p=[0.058, 0.942])

# 2. 手写双样本估计与置信区间

mean_A = np.mean(data_A)

mean_B = np.mean(data_B)

diff = mean_B - mean_A

se_A = np.sqrt(mean_A * (1 - mean_A) / nA)

se_B = np.sqrt(mean_B * (1 - mean_B) / nB)

se_diff = np.sqrt(se_A**2 + se_B**2)

# 95% 置信区间

ci_95 = [diff - 1.96 * se_diff, diff + 1.96 * se_diff]

z_stat = diff / se_diff

p_val_manual = 2 * (1 - stats.norm.cdf(abs(z_stat)))

# 3. 使用 SciPy 独立双样本 t 检验核对

t_stat_scipy, p_val_scipy = stats.ttest_ind(data_B, data_A, equal_var=False)

# 4. 计算 Cohen's d 效应量

pooled_sd = np.sqrt((np.var(data_A) + np.var(data_B)) / 2)

cohens_d = diff / pooled_sd

print("================ A/B 测试评估报告 ================")

print(f"A 组转化率: {mean_A * 100:.2f}% | B 组转化率: {mean_B * 100:.2f}%")

print(f"绝对提升度 (B - A): {diff * 100:+.2f}%")

print(f"提升 95% 置信区间: [{ci_95[0]*100:+.2f}%, {ci_95[1]*100:+.2f}%]")

print(f"手算 z 统计量: {z_stat:.4f} | 手算 p 值: {p_val_manual:.4f}")

print(f"SciPy t 统计量: {t_stat_scipy:.4f} | SciPy p 值: {p_val_scipy:.4f}")

print(f"Cohen's d 效应量: {cohens_d:.4f} (属于小微效应量)")

print("--------------------------------------------------")

if p_val_manual < 0.05:

print("✅ 结论: P < 0.05，拒绝 H0！新方案 B 的转化率具有统计显著性提升。")

else:

print("❌ 结论: P >= 0.05，无法拒绝 H0。无法证明新方案 B 具备显著差异。")

import numpy as np
from scipy import stats

rng = np.random.default_rng(seed=42)

# 1. 模拟 A/B 测试数据 (A 组 0.05 转化率，B 组 0.058 转化率)
nA, nB = 5000, 5000
data_A = rng.choice([1, 0], size=nA, p=[0.050, 0.950])
data_B = rng.choice([1, 0], size=nB, p=[0.058, 0.942])

# 2. 手写双样本估计与置信区间
mean_A = np.mean(data_A)
mean_B = np.mean(data_B)
diff = mean_B - mean_A

se_A = np.sqrt(mean_A * (1 - mean_A) / nA)
se_B = np.sqrt(mean_B * (1 - mean_B) / nB)
se_diff = np.sqrt(se_A**2 + se_B**2)

# 95% 置信区间
ci_95 = [diff - 1.96 * se_diff, diff + 1.96 * se_diff]
z_stat = diff / se_diff
p_val_manual = 2 * (1 - stats.norm.cdf(abs(z_stat)))

# 3. 使用 SciPy 独立双样本 t 检验核对
t_stat_scipy, p_val_scipy = stats.ttest_ind(data_B, data_A, equal_var=False)

# 4. 计算 Cohen's d 效应量
pooled_sd = np.sqrt((np.var(data_A) + np.var(data_B)) / 2)
cohens_d = diff / pooled_sd

print("================ A/B 测试评估报告 ================")
print(f"A 组转化率: {mean_A * 100:.2f}% | B 组转化率: {mean_B * 100:.2f}%")
print(f"绝对提升度 (B - A): {diff * 100:+.2f}%")
print(f"提升 95% 置信区间: [{ci_95[0]*100:+.2f}%, {ci_95[1]*100:+.2f}%]")
print(f"手算 z 统计量: {z_stat:.4f} | 手算 p 值: {p_val_manual:.4f}")
print(f"SciPy t 统计量: {t_stat_scipy:.4f} | SciPy p 值: {p_val_scipy:.4f}")
print(f"Cohen's d 效应量: {cohens_d:.4f} (属于小微效应量)")
print("--------------------------------------------------")
if p_val_manual < 0.05:
    print("✅ 结论: P < 0.05，拒绝 H0！新方案 B 的转化率具有统计显著性提升。")
else:
    print("❌ 结论: P >= 0.05，无法拒绝 H0。无法证明新方案 B 具备显著差异。")

5. 常见错误与避坑指南

现象	先问什么	处理方式
把 p 值误解为“新方案正确的概率”	是否理解了假设前提	p 值是在假定 $H_0$ （新方案无差异）成立的前提下观察到当前数据的概率，绝非方案正确的概率
在 A/B 测试中每天偷看数据直到 $p < 0.05$	是否进行了动态早停	偷看数据（Peeking）会极大地飙升第一类错误率，必须在实验前根据样本量计算提前固定样本量
仅看 $p < 0.05$ 而忽略实际商业效应量	提升幅度是否有商业意义	大数据下微小的差异也会显著，必须结合 Cohen's d 与置信区间判断商业落地价值

检查清单 (Checklist)

能清楚解释原假设 $H_0$ 、备择假设 $H_1$ 与无罪推定原则。
能区分第一类错误 $\alpha$ （假阳性）与第二类错误 $\beta$ （假阴性）及检验功效 Power。
能准确阐述 $p$ 值的真实数学含义，避免滥用误区。
能手算双样本 $z$ -统计量并进行假设检验决策。
能说明多重比较 Bonferroni 修正与 Cohen's d 效应量的计算方法。

自测题

在某药品临床试验中，设定 $\alpha = 0.05$ 。最终计算出的 $p = 0.02$ 。请给出恰当的统计结论。
解释：为什么在大数据时代（如 $N = 100,000,000$ ），仅仅汇报 $p < 0.05$ 是远远不够的？
如果同时测试 10 组假设，使用 Bonferroni 修正后，单次检验的显著性水平应该调整为多少？
【代码阅读题】在上一节代码中，为什么要求置信区间 ci_95 的左右边界都不跨过 0？

点击查看参考答案

在 $\alpha = 0.05$ 水平下， $p = 0.02 < 0.05$ ，落入拒绝域。我们有足够的统计证据拒绝原假设 $H_0$ ，认为该药品具备显著疗效。
因为在大样本下，极小的随机微扰也能算出 $p < 0.05$ 。必须结合效应量（Cohen's d）和置信区间判断这种微小差异是否具备实际临床/商业价值。
调整为 $\alpha_{\text{new}} = \frac{0.05}{10} = 0.005$ 。
因为如果 95% 置信区间跨过了 0（即下界为负、上界为正），说明实际提升可能为正也可能为负，包含了“提升为 0”的可能性，对应 $p \ge 0.05$ 。

下一步

🎉 恭喜你成功完成概率与统计（第 11-15 周）的全部课程！

你已经完整掌握了随机变量、贝叶斯定理、常见分布矩特征、大数定律、CLT、Bootstrap、MLE/MAP 损失推导与 A/B 测试假设检验。请准备迈入 Python 综合大作业 12. 综合实战：鸢尾花分类小项目！

参考资料

OpenIntro Statistics：第 5-7 章假设检验与 A/B 测试。
Think Stats 2：第 9 章假设检验与重采样。
SciPy Stats Tutorial：scipy.stats 假设检验 API 指南。

本页目录

从一个问题开始

1. 假设检验基本框架

1.1 原假设 $H_0$ 与备择假设 $H_1$

1.2 两类错误与检验功效 (Power)

2. p 值的真实含义与 Cohen's d 效应量

2.1 p 值（p-value）的严密定义

2.2 效应量 (Effect Size: Cohen's d)

2.3 多重比较风险 (Multiple Testing Hazard)

3. 手算演练

手算练习：双样本 A/B 测试 z-检验手算

4. 动手实战：手写 A/B 测试分析报告与 SciPy 对照

5. 常见错误与避坑指南

检查清单 (Checklist)

自测题

下一步

参考资料

核心概念术语表

H_0, H_1

原假设 (Null Hypothesis) 与备择假设 (Alternative Hypothesis)

p < \alpha

显著性水平判断（拒绝原假设 H0）

d = \frac{\bar{X}_A - \bar{X}_B}{s_{\text{pooled}}}

Cohen's d 效应量 (Effect Size)

关联推荐笔记

查看全部

14. MLE, MAP 与高斯-MSE/伯努利-BCE 推导

似然函数 60 分钟

12.综合实战：鸢尾花分类小项目

实战项目 45 分钟

从一个问题开始

初学者直觉：法庭审判的“无罪推定” (Presumption of Innocence)

把假设检验比作法庭审判：

原假设 $H_0$ （无罪推定）：默认被告是无辜的（即新方案与旧方案没有任何区别，提升全是随机运气）。
收集证据（采样数据）：如果搜集到的证据极度反常、在被告无辜的前提下发生的概率极低（ $p < 0.05$ ）。
拒绝原假设 $H_0$ （宣判有罪）：证据确凿，推翻无罪假设，承认新方案确实有效！

$双侧假设检验拒绝域与 p 值拒绝域示意图$ 点击放大查看图：双侧假设检验拒绝域与 p 值拒绝域示意图

1. 假设检验基本框架

💡 后续机器学习预告：假设检验与模型显著性评估

第一类错误、第二类错误与检验功效 Power 双正态重叠曲线示意图点击放大查看图：第一类错误、第二类错误与检验功效 Power 双正态重叠曲线示意图

1.1 原假设 $H_0$ 与备择假设 $H_1$

原假设 $H_0$ ：没有效果、没有差异的基准假设（如 $\mu_A = \mu_B$ ）。
备择假设 $H_1$ ：存在显著差异的假设（如 $\mu_A \ne \mu_B$ 或 $\mu_A > \mu_B$ ）。

1.2 两类错误与检验功效 (Power)

真实情况 \ 检验决策	接受 $H_0$ (认为无差异)	拒绝 $H_0$ (认为有差异)
$H_0$ 实际上成立	✅ 决策正确 ( $1-\alpha$ )	❌ 第一类错误 Type I ( $\alpha$ ) (假阳性)
$H_0$ 实际上不成立	❌ 第二类错误 Type II ( $\beta$ ) (假阴性)	✅ 检验功效 Power ( $1-\beta$ )

常用的显著性水平 $\alpha = 0.05$ 。检验功效 Power ( $1-\beta$ ) 表示当新方案确实有效时，我们能够成功检测出来的概率（工业界要求 Power $\ge 80\%$ ）。

2. p 值的真实含义与 Cohen's d 效应量

2.1 p 值（p-value）的严密定义

$p$ 值是指：在原假设 $H_0$ 成立的假设下，观察到当前数据或比当前数据更加极端情况的概率！

$p < 0.05$ ：说明在“无差异”的假设下当前结果极难发生，因而拒绝 $H_0$ 。
误区警示： $p$ 值绝不等于 $H_0$ 成立的概率，也不等于新方案有效的概率！

2.2 效应量 (Effect Size: Cohen's d)

d = \frac{\bar{X}_A - \bar{X}_B}{s_{\text{pooled}}}

$d = 0.2$ （小效应）， $d = 0.5$ （中等效应）， $d = 0.8$ （大效应）。

2.3 多重比较风险 (Multiple Testing Hazard)

3. 手算演练

手算练习：双样本 A/B 测试 z-检验手算

假设某电商网站进行 A/B 测试：

组 A（旧页面）： $n_A = 10,000$ ，转化率 $p_A = 0.050$ （标准误 $SE_A = \sqrt{\frac{0.05 \times 0.95}{10000}} = 0.002179$ ）
组 B（新页面）： $n_B = 10,000$ ，转化率 $p_B = 0.058$ （标准误 $SE_B = \sqrt{\frac{0.058 \times 0.942}{10000}} = 0.002337$ ）

计算联合标准误 $SE_{\text{diff}}$ ：

\text{SE}_{\text{diff}} = \sqrt{\text{SE}_A^2 + \text{SE}_B^2} = \sqrt{0.002179^2 + 0.002337^2} = \sqrt{4.748\times 10^{-6} + 5.461\times 10^{-6}} \approx 0.003195

计算 $z$ -统计量：

z = \frac{p_B - p_A}{\text{SE}_{\text{diff}}} = \frac{0.058 - 0.050}{0.003195} = \frac{0.008}{0.003195} \approx 2.504

对比临界值得出结论：双侧检验 $\alpha = 0.05$ 对应的临界值为 $z_{\text{crit}} = \pm 1.96$ 。因为 $z = 2.504 > 1.96$ ，统计量落入拒绝域！拒绝原假设 $H_0$ ，新页面转化率显著提升！

4. 动手实战：手写 A/B 测试分析报告与 SciPy 对照

下面的代码模拟 A/B 测试，手写计算转化率提升、经验 95% 置信区间与 $p$ 值，并与 scipy.stats.ttest_ind 结果核对：

A/B 测试实验分析报告与 SciPy 检验代码

import numpy as np

from scipy import stats

rng = np.random.default_rng(seed=42)

# 1. 模拟 A/B 测试数据 (A 组 0.05 转化率，B 组 0.058 转化率)

nA, nB = 5000, 5000

data_A = rng.choice([1, 0], size=nA, p=[0.050, 0.950])

data_B = rng.choice([1, 0], size=nB, p=[0.058, 0.942])

# 2. 手写双样本估计与置信区间

mean_A = np.mean(data_A)

mean_B = np.mean(data_B)

diff = mean_B - mean_A

se_A = np.sqrt(mean_A * (1 - mean_A) / nA)

se_B = np.sqrt(mean_B * (1 - mean_B) / nB)

se_diff = np.sqrt(se_A**2 + se_B**2)

# 95% 置信区间

ci_95 = [diff - 1.96 * se_diff, diff + 1.96 * se_diff]

z_stat = diff / se_diff

p_val_manual = 2 * (1 - stats.norm.cdf(abs(z_stat)))

# 3. 使用 SciPy 独立双样本 t 检验核对

t_stat_scipy, p_val_scipy = stats.ttest_ind(data_B, data_A, equal_var=False)

# 4. 计算 Cohen's d 效应量

pooled_sd = np.sqrt((np.var(data_A) + np.var(data_B)) / 2)

cohens_d = diff / pooled_sd

print("================ A/B 测试评估报告 ================")

print(f"A 组转化率: {mean_A * 100:.2f}% | B 组转化率: {mean_B * 100:.2f}%")

print(f"绝对提升度 (B - A): {diff * 100:+.2f}%")

print(f"提升 95% 置信区间: [{ci_95[0]*100:+.2f}%, {ci_95[1]*100:+.2f}%]")

print(f"手算 z 统计量: {z_stat:.4f} | 手算 p 值: {p_val_manual:.4f}")

print(f"SciPy t 统计量: {t_stat_scipy:.4f} | SciPy p 值: {p_val_scipy:.4f}")

print(f"Cohen's d 效应量: {cohens_d:.4f} (属于小微效应量)")

print("--------------------------------------------------")

if p_val_manual < 0.05:

print("✅ 结论: P < 0.05，拒绝 H0！新方案 B 的转化率具有统计显著性提升。")

else:

print("❌ 结论: P >= 0.05，无法拒绝 H0。无法证明新方案 B 具备显著差异。")

import numpy as np
from scipy import stats

rng = np.random.default_rng(seed=42)

# 2. 手写双样本估计与置信区间
mean_A = np.mean(data_A)
mean_B = np.mean(data_B)
diff = mean_B - mean_A

se_A = np.sqrt(mean_A * (1 - mean_A) / nA)
se_B = np.sqrt(mean_B * (1 - mean_B) / nB)
se_diff = np.sqrt(se_A**2 + se_B**2)

# 95% 置信区间
ci_95 = [diff - 1.96 * se_diff, diff + 1.96 * se_diff]
z_stat = diff / se_diff
p_val_manual = 2 * (1 - stats.norm.cdf(abs(z_stat)))

# 3. 使用 SciPy 独立双样本 t 检验核对
t_stat_scipy, p_val_scipy = stats.ttest_ind(data_B, data_A, equal_var=False)

# 4. 计算 Cohen's d 效应量
pooled_sd = np.sqrt((np.var(data_A) + np.var(data_B)) / 2)
cohens_d = diff / pooled_sd

5. 常见错误与避坑指南

现象	先问什么	处理方式
把 p 值误解为“新方案正确的概率”	是否理解了假设前提	p 值是在假定 $H_0$ （新方案无差异）成立的前提下观察到当前数据的概率，绝非方案正确的概率
在 A/B 测试中每天偷看数据直到 $p < 0.05$	是否进行了动态早停	偷看数据（Peeking）会极大地飙升第一类错误率，必须在实验前根据样本量计算提前固定样本量
仅看 $p < 0.05$ 而忽略实际商业效应量	提升幅度是否有商业意义	大数据下微小的差异也会显著，必须结合 Cohen's d 与置信区间判断商业落地价值

检查清单 (Checklist)

能清楚解释原假设 $H_0$ 、备择假设 $H_1$ 与无罪推定原则。
能区分第一类错误 $\alpha$ （假阳性）与第二类错误 $\beta$ （假阴性）及检验功效 Power。
能准确阐述 $p$ 值的真实数学含义，避免滥用误区。
能手算双样本 $z$ -统计量并进行假设检验决策。
能说明多重比较 Bonferroni 修正与 Cohen's d 效应量的计算方法。

自测题

在某药品临床试验中，设定 $\alpha = 0.05$ 。最终计算出的 $p = 0.02$ 。请给出恰当的统计结论。
解释：为什么在大数据时代（如 $N = 100,000,000$ ），仅仅汇报 $p < 0.05$ 是远远不够的？
如果同时测试 10 组假设，使用 Bonferroni 修正后，单次检验的显著性水平应该调整为多少？
【代码阅读题】在上一节代码中，为什么要求置信区间 ci_95 的左右边界都不跨过 0？

点击查看参考答案

在 $\alpha = 0.05$ 水平下， $p = 0.02 < 0.05$ ，落入拒绝域。我们有足够的统计证据拒绝原假设 $H_0$ ，认为该药品具备显著疗效。
因为在大样本下，极小的随机微扰也能算出 $p < 0.05$ 。必须结合效应量（Cohen's d）和置信区间判断这种微小差异是否具备实际临床/商业价值。
调整为 $\alpha_{\text{new}} = \frac{0.05}{10} = 0.005$ 。
因为如果 95% 置信区间跨过了 0（即下界为负、上界为正），说明实际提升可能为正也可能为负，包含了“提升为 0”的可能性，对应 $p \ge 0.05$ 。

下一步

🎉 恭喜你成功完成概率与统计（第 11-15 周）的全部课程！

参考资料

OpenIntro Statistics：第 5-7 章假设检验与 A/B 测试。
Think Stats 2：第 9 章假设检验与重采样。
SciPy Stats Tutorial：scipy.stats 假设检验 API 指南。

准备知识33 章节

准备知识33 章节

15. 假设检验、p值、效应量与 A/B 测试实战

核心导读

从一个问题开始

初学者直觉：法庭审判的“无罪推定” (Presumption of Innocence)

点击放大查看图：双侧假设检验拒绝域与 p 值拒绝域示意图

1. 假设检验基本框架

💡 后续机器学习预告：假设检验与模型显著性评估

1.1 原假设 H0H_0H0​ 与备择假设 H1H_1H1​

1.2 两类错误与检验功效 (Power)

2. p 值的真实含义与 Cohen's d 效应量

2.1 p 值（p-value）的严密定义

2.2 效应量 (Effect Size: Cohen's d)

2.3 多重比较风险 (Multiple Testing Hazard)

3. 手算演练

手算练习：双样本 A/B 测试 z-检验手算

4. 动手实战：手写 A/B 测试分析报告与 SciPy 对照

5. 常见错误与避坑指南

检查清单 (Checklist)

自测题

下一步

参考资料

本页目录

核心概念术语表

关联推荐笔记

准备知识33 章节

15. 假设检验、p值、效应量与 A/B 测试实战

核心导读

从一个问题开始

初学者直觉：法庭审判的“无罪推定” (Presumption of Innocence)

点击放大查看图：双侧假设检验拒绝域与 p 值拒绝域示意图

1. 假设检验基本框架

💡 后续机器学习预告：假设检验与模型显著性评估

1.1 原假设 H0H_0H0​ 与备择假设 H1H_1H1​

1.2 两类错误与检验功效 (Power)

2. p 值的真实含义与 Cohen's d 效应量

2.1 p 值（p-value）的严密定义

2.2 效应量 (Effect Size: Cohen's d)

2.3 多重比较风险 (Multiple Testing Hazard)

3. 手算演练

手算练习：双样本 A/B 测试 z-检验手算

4. 动手实战：手写 A/B 测试分析报告与 SciPy 对照

5. 常见错误与避坑指南

检查清单 (Checklist)

自测题

下一步

参考资料

本页目录

核心概念术语表

关联推荐笔记

$双侧假设检验拒绝域与 p 值拒绝域示意图$ 点击放大查看图：双侧假设检验拒绝域与 p 值拒绝域示意图

1.1 原假设 $H_0$ 与备择假设 $H_1$

$双侧假设检验拒绝域与 p 值拒绝域示意图$ 点击放大查看图：双侧假设检验拒绝域与 p 值拒绝域示意图

1.1 原假设 $H_0$ 与备择假设 $H_1$