准备知识33 章节

Python 与科学计算

9 篇

01.Python 环境与 Notebook 02.变量、类型与表达式 03.控制流与推导式 04.核心数据结构 05.函数、作用域与函数式工具 06.模块、包与配置 07.文件、异常、调试与测试 08.NumPy 数值计算与向量化 09. Pandas 数据分析与表格操作实战

数学基础（线代、微积分与概率统计）

15 篇

01.向量、矩阵与余弦相似度 02.矩阵运算、秩与几何变换 03.基、Gram-Schmidt 与最小二乘 04.特征值分解、对角化与正定矩阵 05.SVD 分解与 PCA 降维实战 06. 偏导数、链式法则与计算图 07. 梯度、Jacobian/Hessian 与凸性 08. 梯度下降算法：Batch, SGD 与 Mini-batch 09. 现代优化器：Momentum, RMSProp 与 Adam 10. 损失函数思想与凸函数极小化 11. 随机变量、条件概率与贝叶斯定理 12. 常见分布、期望方差与协方差 13. 大数定律、中心极限定理与 Bootstrap 14. MLE, MAP 与高斯-MSE/伯努利-BCE 推导 15. 假设检验、p值、效应量与 A/B 测试实战

数据处理与特征工程

5 篇

01. 数据字典、质量审计与 EDA 清单 02. 随机、分层、分组与时间序列切分 03. 预处理、编码与防数据泄漏铁律 04. 特征构造、多重共线性与类别不平衡消融 05. ColumnTransformer, Pipeline 与模型持久化

实验与工程习惯

4 篇

01. 规范仓库结构、YAML 配置与随机性控制 02. 模块化代码重构与 pytest 5大契约测试 03. 结构化实验记录 runs/ 与误分类错误分析 04. 端到端从零复现、多模型基线对比与报告

本模块进度0%

已完成 0 / 33 个章节

查看知识全景图

笔记库/准备知识/01. 数据字典、质量审计与 EDA 清单

← 返回知识地图

01. 数据字典、质量审计与 EDA 清单

难度: 入门预计阅读 50 分钟学习进度 0%

核心导读

掌握数据字典建设规范，熟练进行 5 大数据质量审计（缺失、重复、类型错配、异常值 IQR 判定、标签质量），并生成标准化 EDA 报告。

从一个问题开始

在真实的机器学习项目中，脏数据（Dirty Data）是常态而非例外。如果在训练模型前没有进行严格的数据审计，直接把带有错位类型、脏缺失值和异常极值的数据送入模型，会出现著名的 “Garbage in, Garbage out”（垃圾进，垃圾出） 现象！

这一章我们将建立标准的数据字典（Data Dictionary），执行 5 大维度数据质量审计，手算 IQR 异常值边界，并用 Python 自动化生成一份工业级 EDA（Exploratory Data Analysis）质量报告。

初学者直觉：二手房中介的进货盘点 (Real Estate Audit)

把原始数据集比作中介刚收到的二手房源台账：

数据字典：房源的字段说明书（房屋面积、建造年份、是否带电梯的字段类型与正常范围）。
质量审计：核查台账里有没有“面积负数”（异常值）、“同一套房登记了两次”（重复行）、“年份写成了汉字”（类型错配）、“关键房价空白”（缺失值）。

1. 数据字典与 5 大质量审计

1.1 数据字典 (Data Dictionary) 规范

数据字典是定义数据集物理与逻辑 schema 的核心文档，必须包含：

字段名 (Field Name)
数据类型 (Data Type)：连续数值 (Continuous)、离散类别 (Categorical)、布尔值 (Boolean) 或时间戳 (DateTime)
取值范围/允许集合 (Allowed Range)
缺失值容忍度 (Missing Tolerance)
业务含义说明 (Description)

1.2 5 大数据质量审计维度

数据类型错配 (Type Mismatch)：如本应是数值的列包含字符串 "None" 或 "?"（UCI Adult 数据集中常见）。
缺失值分布 (Missing Values)：区分完全随机缺失 (MCAR) 与非随机缺失 (MNAR)。
重复行 (Duplicate Rows)：完全相同的样本记录。
离群异常值 (Outliers)：远超出合理物理范围的极端值（使用箱线图 IQR 或 3-Sigma 准则识别）。
标签倾斜度 (Label Skew)：二分类标签比例是否极度不平衡（如 99% vs 1%）。

2. 手算演练

手算练习：四分位距 (IQR) 异常值边界判定

假设我们搜集了 8 个样本的年龄数据： $\text{Ages} = [18, 22, 25, 30, 35, 40, 45, 95]$ ：

第一步：计算下四分位数 $Q_1$ 与上四分位数 $Q_3$ ：
- 排序后， $Q_1$ （前 25% 位置）为 $22$ ， $Q_3$ （前 75% 位置）为 $45$ 。
第二步：计算四分位距 $\text{IQR}$ ：

\text{IQR} = Q_3 - Q_1 = 45 - 22 = 23

第三步：计算 IQR 合理上下限：
- 上限： $\text{Upper} = Q_3 + 1.5 \times \text{IQR} = 45 + 1.5 \times 23 = 45 + 34.5 = 79.5$
- 下限： $\text{Lower} = Q_1 - 1.5 \times \text{IQR} = 22 - 1.5 \times 23 = 22 - 34.5 = -12.5$
第四步：判定异常值：数值 $95 > 79.5$ ，因此手算判定样本数据 $95$ 为离群异常值 (Outlier)！

3. 动手实战：自动生成数据质量审计报告

下面的代码使用 Pandas 和 NumPy 实现自动数据质量审计，对缺失值、重复项与 IQR 异常值进行诊断：

自动化数据质量审计与 EDA 报告生成代码

import pandas as pd

import numpy as np

# 1. 构造包含脏数据的示范数据集 (模拟 UCI Adult / Titanic 风格)

data = {

'age': [22, 35, 28, 42, 150, 29, 35, np.nan], # 包含异常值 150 和缺失值

'income': [5000, 8000, np.nan, 12000, 9500, 8000, 8000, 6000],

'education': ['Bachelors', 'HS-grad', 'Bachelors', 'Masters', 'HS-grad', 'HS-grad', 'HS-grad', 'Doctorate'],

'target': [0, 0, 0, 1, 1, 0, 0, 1]

}

df = pd.DataFrame(data)

# 2. 自动化质量审计函数

def audit_dataset(df: pd.DataFrame) -> pd.DataFrame:

audit_rows = []

for col in df.columns:

col_data = df[col]

dtype = col_data.dtype

null_count = col_data.isnull().sum()

null_pct = (null_count / len(df)) * 100

# 异常值检测 (针对数值列)

outliers_count = 0

if np.issubdtype(dtype, np.number):

q1 = col_data.quantile(0.25)

q3 = col_data.quantile(0.75)

iqr = q3 - q1

upper = q3 + 1.5 * iqr

lower = q1 - 1.5 * iqr

outliers_count = ((col_data < lower) | (col_data > upper)).sum()

audit_rows.append({

'字段名': col,

'数据类型': str(dtype),

'缺失记录数': null_count,

'缺失占比(%)': f"{null_pct:.1f}%",

'IQR异常值数': outliers_count,

'唯一值个数': col_data.nunique()

})

return pd.DataFrame(audit_rows)

report_df = audit_dataset(df)

duplicates = df.duplicated().sum()

print("================ 数据质量审计报告 (Data Audit) ================")

print(report_df.to_string(index=False))

print("---------------------------------------------------------------")

print(f"全表总行数: {len(df)} | 重复记录行数: {duplicates}")

import pandas as pd
import numpy as np

# 1. 构造包含脏数据的示范数据集 (模拟 UCI Adult / Titanic 风格)
data = {
    'age': [22, 35, 28, 42, 150, 29, 35, np.nan], # 包含异常值 150 和缺失值
    'income': [5000, 8000, np.nan, 12000, 9500, 8000, 8000, 6000],
    'education': ['Bachelors', 'HS-grad', 'Bachelors', 'Masters', 'HS-grad', 'HS-grad', 'HS-grad', 'Doctorate'],
    'target': [0, 0, 0, 1, 1, 0, 0, 1]
}
df = pd.DataFrame(data)

# 2. 自动化质量审计函数
def audit_dataset(df: pd.DataFrame) -> pd.DataFrame:
    audit_rows = []
    for col in df.columns:
        col_data = df[col]
        dtype = col_data.dtype
        null_count = col_data.isnull().sum()
        null_pct = (null_count / len(df)) * 100
        
        # 异常值检测 (针对数值列)
        outliers_count = 0
        if np.issubdtype(dtype, np.number):
            q1 = col_data.quantile(0.25)
            q3 = col_data.quantile(0.75)
            iqr = q3 - q1
            upper = q3 + 1.5 * iqr
            lower = q1 - 1.5 * iqr
            outliers_count = ((col_data < lower) | (col_data > upper)).sum()
            
        audit_rows.append({
            '字段名': col,
            '数据类型': str(dtype),
            '缺失记录数': null_count,
            '缺失占比(%)': f"{null_pct:.1f}%",
            'IQR异常值数': outliers_count,
            '唯一值个数': col_data.nunique()
        })
    return pd.DataFrame(audit_rows)

report_df = audit_dataset(df)
duplicates = df.duplicated().sum()

print("================ 数据质量审计报告 (Data Audit) ================")
print(report_df.to_string(index=False))
print("---------------------------------------------------------------")
print(f"全表总行数: {len(df)} | 重复记录行数: {duplicates}")

4. 常见错误与避坑指南

现象	先问什么	处理方式
直接用 `df.dropna()` 删掉所有带缺失值的行	缺失值占比是否很小	盲目删除会导致样本量剧烈缩减，必须先检查缺失占比；占比高时考虑填补或衍生 `is_missing` 哑变量
把数字 ID（如邮政编码 `90210`）当成数值列参与计算	该列是否具备加减乘除的物理含义	必须在数据字典中修正类型，将无算术意义的数字 ID 强转为类别字符串 `object` / `category`
直接把 IQR 算出的“异常值”全部机械删掉	异常值是否为真实的业务极值	如高收入群体 100 万虽然在 IQR 上被判定为异常，但在经济预测中属于真实业务极值，严禁盲目删除

检查清单 (Checklist)

能解释数据字典的作用及其包含的 5 个关键描述字段。
能熟练列举并检查数据质量审计的 5 大维度。
能手算四分位距 IQR 并计算出异常值判定边界 $[Q1 - 1.5\text{IQR}, Q3 + 1.5\text{IQR}]$ 。
能写出自动检测缺失值、重复行与 IQR 异常值的 Python 代码 data_audit.py。
能说明为什么不能机械删除所有被 IQR 判定为异常值的业务样本。

自测题

在某数据集的 Age 字段中， $Q_1 = 20, Q_3 = 40$ 。请手算其 IQR 异常值边界，并判断数据点 75 是否属于异常值。
解释：为什么将 ZipCode（邮编）当作连续数值列放入线性回归模型中会导致严重的模型错误？
如果一个二分类数据集的标签正负比例为 $99.5\% : 0.5\%$ ，直接看 Accuracy（准确率）有什么致命陷阱？
【代码阅读题】在上一节代码中，为什么针对离散类别列 education 计算出的 IQR异常值数 结果为 0？

点击查看参考答案

$\text{IQR} = 40 - 20 = 20$ 。上限为 $Q_3 + 1.5 \times 20 = 40 + 30 = 70$ 。因为 $75 > 70$ ，所以数据点 75 属于异常值。
因为邮编数字之间没有大小与加减乘除物理语义（邮编 90210 不代表邮编 45105 的 2 倍）。当作数值列会让模型错误假设离距离远的邮编具有某种线性缩放关系。
盲目预测所有样本全为多数类就能轻松得到 99.5% 的虚假高准确率，但完全无法识别出任何少数类关键样本。
因为 IQR 异常值方法基于数值分位数 $Q_1, Q_3$ ，仅适用于连续数值列；对于文本类别列 education 无法计算四分位数，故异常计数默认为 0。

下一步

进入下一个专项 02. 随机、分层、分组与时间序列切分，学习随机切分、分层抽样 (Stratified)、用户分组 (Group) 与时间序列 (Time Series) 切分策略。

参考资料

scikit-learn: Common pitfalls and recommended practices：数据准备 common pitfalls。
pandas User Guide: Missing data：缺失值诊断与处理。
Tidy Data (Hadley Wickham)：整洁数据规范论文。

本页目录

从一个问题开始

1. 数据字典与 5 大质量审计

1.1 数据字典 (Data Dictionary) 规范

1.2 5 大数据质量审计维度

2. 手算演练

手算练习：四分位距 (IQR) 异常值边界判定

3. 动手实战：自动生成数据质量审计报告

4. 常见错误与避坑指南

检查清单 (Checklist)

自测题

下一步

参考资料

核心概念术语表

\text{IQR} = Q_3 - Q_1

四分位距 (Interquartile Range)

[Q_1 - 1.5 \text{IQR}, Q_3 + 1.5 \text{IQR}]

IQR 异常值边界范围

关联推荐笔记

查看全部

15. 假设检验、p值、效应量与 A/B 测试实战

假设检验 60 分钟

02. 随机、分层、分组与时间序列切分

数据集划分 55 分钟

从一个问题开始

初学者直觉：二手房中介的进货盘点 (Real Estate Audit)

把原始数据集比作中介刚收到的二手房源台账：

数据字典：房源的字段说明书（房屋面积、建造年份、是否带电梯的字段类型与正常范围）。
质量审计：核查台账里有没有“面积负数”（异常值）、“同一套房登记了两次”（重复行）、“年份写成了汉字”（类型错配）、“关键房价空白”（缺失值）。

1. 数据字典与 5 大质量审计

1.1 数据字典 (Data Dictionary) 规范

数据字典是定义数据集物理与逻辑 schema 的核心文档，必须包含：

字段名 (Field Name)
数据类型 (Data Type)：连续数值 (Continuous)、离散类别 (Categorical)、布尔值 (Boolean) 或时间戳 (DateTime)
取值范围/允许集合 (Allowed Range)
缺失值容忍度 (Missing Tolerance)
业务含义说明 (Description)

1.2 5 大数据质量审计维度

数据类型错配 (Type Mismatch)：如本应是数值的列包含字符串 "None" 或 "?"（UCI Adult 数据集中常见）。
缺失值分布 (Missing Values)：区分完全随机缺失 (MCAR) 与非随机缺失 (MNAR)。
重复行 (Duplicate Rows)：完全相同的样本记录。
离群异常值 (Outliers)：远超出合理物理范围的极端值（使用箱线图 IQR 或 3-Sigma 准则识别）。
标签倾斜度 (Label Skew)：二分类标签比例是否极度不平衡（如 99% vs 1%）。

2. 手算演练

手算练习：四分位距 (IQR) 异常值边界判定

假设我们搜集了 8 个样本的年龄数据： $\text{Ages} = [18, 22, 25, 30, 35, 40, 45, 95]$ ：

第一步：计算下四分位数 $Q_1$ 与上四分位数 $Q_3$ ：
- 排序后， $Q_1$ （前 25% 位置）为 $22$ ， $Q_3$ （前 75% 位置）为 $45$ 。
第二步：计算四分位距 $\text{IQR}$ ：

\text{IQR} = Q_3 - Q_1 = 45 - 22 = 23

第三步：计算 IQR 合理上下限：
- 上限： $\text{Upper} = Q_3 + 1.5 \times \text{IQR} = 45 + 1.5 \times 23 = 45 + 34.5 = 79.5$
- 下限： $\text{Lower} = Q_1 - 1.5 \times \text{IQR} = 22 - 1.5 \times 23 = 22 - 34.5 = -12.5$
第四步：判定异常值：数值 $95 > 79.5$ ，因此手算判定样本数据 $95$ 为离群异常值 (Outlier)！

3. 动手实战：自动生成数据质量审计报告

下面的代码使用 Pandas 和 NumPy 实现自动数据质量审计，对缺失值、重复项与 IQR 异常值进行诊断：

自动化数据质量审计与 EDA 报告生成代码

import pandas as pd

import numpy as np

# 1. 构造包含脏数据的示范数据集 (模拟 UCI Adult / Titanic 风格)

data = {

'age': [22, 35, 28, 42, 150, 29, 35, np.nan], # 包含异常值 150 和缺失值

'income': [5000, 8000, np.nan, 12000, 9500, 8000, 8000, 6000],

'education': ['Bachelors', 'HS-grad', 'Bachelors', 'Masters', 'HS-grad', 'HS-grad', 'HS-grad', 'Doctorate'],

'target': [0, 0, 0, 1, 1, 0, 0, 1]

}

df = pd.DataFrame(data)

# 2. 自动化质量审计函数

def audit_dataset(df: pd.DataFrame) -> pd.DataFrame:

audit_rows = []

for col in df.columns:

col_data = df[col]

dtype = col_data.dtype

null_count = col_data.isnull().sum()

null_pct = (null_count / len(df)) * 100

# 异常值检测 (针对数值列)

outliers_count = 0

if np.issubdtype(dtype, np.number):

q1 = col_data.quantile(0.25)

q3 = col_data.quantile(0.75)

iqr = q3 - q1

upper = q3 + 1.5 * iqr

lower = q1 - 1.5 * iqr

outliers_count = ((col_data < lower) | (col_data > upper)).sum()

audit_rows.append({

'字段名': col,

'数据类型': str(dtype),

'缺失记录数': null_count,

'缺失占比(%)': f"{null_pct:.1f}%",

'IQR异常值数': outliers_count,

'唯一值个数': col_data.nunique()

})

return pd.DataFrame(audit_rows)

report_df = audit_dataset(df)

duplicates = df.duplicated().sum()

print("================ 数据质量审计报告 (Data Audit) ================")

print(report_df.to_string(index=False))

print("---------------------------------------------------------------")

print(f"全表总行数: {len(df)} | 重复记录行数: {duplicates}")

import pandas as pd
import numpy as np

report_df = audit_dataset(df)
duplicates = df.duplicated().sum()

4. 常见错误与避坑指南

现象	先问什么	处理方式
直接用 `df.dropna()` 删掉所有带缺失值的行	缺失值占比是否很小	盲目删除会导致样本量剧烈缩减，必须先检查缺失占比；占比高时考虑填补或衍生 `is_missing` 哑变量
把数字 ID（如邮政编码 `90210`）当成数值列参与计算	该列是否具备加减乘除的物理含义	必须在数据字典中修正类型，将无算术意义的数字 ID 强转为类别字符串 `object` / `category`
直接把 IQR 算出的“异常值”全部机械删掉	异常值是否为真实的业务极值	如高收入群体 100 万虽然在 IQR 上被判定为异常，但在经济预测中属于真实业务极值，严禁盲目删除

检查清单 (Checklist)

能解释数据字典的作用及其包含的 5 个关键描述字段。
能熟练列举并检查数据质量审计的 5 大维度。
能手算四分位距 IQR 并计算出异常值判定边界 $[Q1 - 1.5\text{IQR}, Q3 + 1.5\text{IQR}]$ 。
能写出自动检测缺失值、重复行与 IQR 异常值的 Python 代码 data_audit.py。
能说明为什么不能机械删除所有被 IQR 判定为异常值的业务样本。

自测题

在某数据集的 Age 字段中， $Q_1 = 20, Q_3 = 40$ 。请手算其 IQR 异常值边界，并判断数据点 75 是否属于异常值。
解释：为什么将 ZipCode（邮编）当作连续数值列放入线性回归模型中会导致严重的模型错误？
如果一个二分类数据集的标签正负比例为 $99.5\% : 0.5\%$ ，直接看 Accuracy（准确率）有什么致命陷阱？
【代码阅读题】在上一节代码中，为什么针对离散类别列 education 计算出的 IQR异常值数 结果为 0？

点击查看参考答案

$\text{IQR} = 40 - 20 = 20$ 。上限为 $Q_3 + 1.5 \times 20 = 40 + 30 = 70$ 。因为 $75 > 70$ ，所以数据点 75 属于异常值。
因为邮编数字之间没有大小与加减乘除物理语义（邮编 90210 不代表邮编 45105 的 2 倍）。当作数值列会让模型错误假设离距离远的邮编具有某种线性缩放关系。
盲目预测所有样本全为多数类就能轻松得到 99.5% 的虚假高准确率，但完全无法识别出任何少数类关键样本。
因为 IQR 异常值方法基于数值分位数 $Q_1, Q_3$ ，仅适用于连续数值列；对于文本类别列 education 无法计算四分位数，故异常计数默认为 0。

下一步

进入下一个专项 02. 随机、分层、分组与时间序列切分，学习随机切分、分层抽样 (Stratified)、用户分组 (Group) 与时间序列 (Time Series) 切分策略。

参考资料

scikit-learn: Common pitfalls and recommended practices：数据准备 common pitfalls。
pandas User Guide: Missing data：缺失值诊断与处理。
Tidy Data (Hadley Wickham)：整洁数据规范论文。