准备知识33 章节

Python 与科学计算

9 篇

01.Python 环境与 Notebook 02.变量、类型与表达式 03.控制流与推导式 04.核心数据结构 05.函数、作用域与函数式工具 06.模块、包与配置 07.文件、异常、调试与测试 08.NumPy 数值计算与向量化 09. Pandas 数据分析与表格操作实战

数学基础（线代、微积分与概率统计）

15 篇

01.向量、矩阵与余弦相似度 02.矩阵运算、秩与几何变换 03.基、Gram-Schmidt 与最小二乘 04.特征值分解、对角化与正定矩阵 05.SVD 分解与 PCA 降维实战 06. 偏导数、链式法则与计算图 07. 梯度、Jacobian/Hessian 与凸性 08. 梯度下降算法：Batch, SGD 与 Mini-batch 09. 现代优化器：Momentum, RMSProp 与 Adam 10. 损失函数思想与凸函数极小化 11. 随机变量、条件概率与贝叶斯定理 12. 常见分布、期望方差与协方差 13. 大数定律、中心极限定理与 Bootstrap 14. MLE, MAP 与高斯-MSE/伯努利-BCE 推导 15. 假设检验、p值、效应量与 A/B 测试实战

数据处理与特征工程

5 篇

01. 数据字典、质量审计与 EDA 清单 02. 随机、分层、分组与时间序列切分 03. 预处理、编码与防数据泄漏铁律 04. 特征构造、多重共线性与类别不平衡消融 05. ColumnTransformer, Pipeline 与模型持久化

实验与工程习惯

4 篇

01. 规范仓库结构、YAML 配置与随机性控制 02. 模块化代码重构与 pytest 5大契约测试 03. 结构化实验记录 runs/ 与误分类错误分析 04. 端到端从零复现、多模型基线对比与报告

本模块进度0%

已完成 0 / 33 个章节

查看知识全景图

笔记库/准备知识/09. Pandas 数据分析与表格操作实战

← 返回知识地图

09. Pandas 数据分析与表格操作实战

难度: 中等预计阅读 40 分钟学习进度 0%

核心导读

深入掌握 Pandas 核心数据结构 Series 与 DataFrame，熟练运用数据导入导出、loc/iloc 显式切片、条件筛选、缺失值清洗、Groupby 分组聚合与表格 Merge 操作。

从一个问题开始

在真实的 AI 与数据科学工程中，数据很少以干净的 NumPy 纯数字矩阵直接呈现。真实数据往往是包含姓名、日期、省份、分类标签与缺失值的异构表格 (Tabular Data)。

NumPy 擅长高密度的纯数字矩阵运算，但面对字符串列、缺失值 NaN 和按列名检索时却力不从心。

这正是 Pandas 登场的时刻！把 Pandas 比作 Python 中的“超级 Excel 引擎”：它不仅能以极高效率读取 GB 级别的 CSV/Excel 文件，还能用极其简洁的代码完成数据清洗、条件筛选、多表关联与分组统计。

初学者直觉：Pandas DataFrame 物理三要素

一个 pd.DataFrame 相当于附带了额外坐标轴信息的二维表格：

Index (行索引)：每行数据的唯一身份标识（如 0, 1, 2... 或时间日期）。
Columns (列名/表头)：每列数据的语义标签（如 'age', 'price', 'city'）。
Values (底层的 NumPy 数组)：真正存储底层数值、文本与数据的二维矩阵。

Pandas 数据导入与 DataFrame 动态交互实验室Live Input Mode

支持自定义输入 loc/iloc 参数与布尔条件，观察 DataFrame 动态高亮与切片输出

交互参数配置与实时 Python 代码Interactive Input

# 1. 外部 CSV 数据文本

id,name,age,city,score 1,Alice,24,Beijing,88 2,Bob,29,Shanghai,92 3,Charlie,22,Guangzhou,79 4,David,31,Beijing,95 5,Eva,27,Shenzhen,84

import pandas as pd

df = pd.read_csv('users.csv')

Pandas 自动推断第一行为表头 (Columns)，第一列前生成 0 开始的整型 Index。

pd.DataFrame 实时渲染与高亮Full Shape: (5, 5)

Index	id	name	age	city	score
0	1	Alice	24	Beijing	88
1	2	Bob	29	Shanghai	92
2	3	Charlie	22	Guangzhou	79
3	4	David	31	Beijing	95
4	5	Eva	27	Shenzhen	84

dtypes: id(int64), name(object), age(int64), city(object), score(int64)Live Output

1. 核心数据结构：Series 与 DataFrame

Pandas 建立在两大核心数据结构之上：

pd.Series：一维带索引的序列（类似于附带了行标签的一维数组或单列数据）。
pd.DataFrame：二维带行索引和列名的表格（可看作由多个共享相同 Index 的 Series 拼接而成的字典）。

代码实战：创建 Series 与 DataFrame

import pandas as pd

import numpy as np

# 1. 创建一维 Series

s = pd.Series([88, 92, 79], index=['Alice', 'Bob', 'Charlie'], name='Score')

print("--- pd.Series ---")

print(s)

# 2. 从 Python 字典创建二维 DataFrame

data = {

'name': ['Alice', 'Bob', 'Charlie', 'David'],

'age': [24, 29, 22, 31],

'city': ['Beijing', 'Shanghai', 'Guangzhou', 'Beijing'],

'score': [88.5, 92.0, np.nan, 95.5]

}

df = pd.DataFrame(data)

print("\n--- pd.DataFrame ---")

print(df)

2. 常用高频 API 全景指南

在实际数据分析与机器学习预处理中，以下 8 大类 API 是使用频率最高的“基本功”：

2.1 数据导入与导出 (IO Operations)

操作分类	导入方法 (Read)	导出方法 (Write)	常用关键参数
CSV / TXT 文件	`pd.read_csv('file.csv')`	`df.to_csv('out.csv', index=False)`	`encoding='utf-8'`, `sep=','`, `header=0`
Excel 工作表	`pd.read_excel('file.xlsx')`	`df.to_excel('out.xlsx')`	`sheet_name='Sheet1'`
JSON / API 数据	`pd.read_json('file.json')`	`df.to_json('out.json')`	`orient='records'`
SQL 数据库	`pd.read_sql(query, conn)`	`df.to_sql('table', conn)`	`if_exists='replace'`

2.2 数据探查与结构概览

df.head(n) / df.tail(n)：查看前 $n$ 行或后 $n$ 行数据（默认 5 行）。
df.info()：输出数据框内存占用、每列非空值数量 (Non-Null Count) 与数据类型 (dtypes)。
df.describe()：输出数值列的八项统计汇总（均值、标准差、最小值、四分位数、最大值）。
df.shape：返回 (行数, 列数) 元组。
df.columns / df.index：分别查看所有列名与行索引。

代码实战：快速探查表格质量

import pandas as pd

import numpy as np

df = pd.DataFrame({

'user_id': [101, 102, 103, 104, 105],

'age': [25, np.nan, 31, 22, 29],

'income': [50000, 72000, 61000, np.nan, 85000],

'status': ['active', 'inactive', 'active', 'active', 'pending']

})

print("Shape:", df.shape)

print("\n--- df.info() ---")

df.info()

print("\n--- df.describe() ---")

print(df.describe())

3. 数据检索与切片：loc 与 iloc 显式区分

这是初学 Pandas 时最容易混淆的坑点。Pandas 提供了两种精准切片索引器：

df.loc[行标签, 列标签]：基于显式名称/标签 (Label-based) 进行索引。包含起始和结束端点（闭区间 [a, b]）。
df.iloc[行位置, 列位置]：基于0 开始的整数位置 (Integer Position-based) 进行索引。遵循 Python 切片标准（前闭后开区间 [a, b)）。

代码验证：loc 与 iloc 切片差异

import pandas as pd

df = pd.DataFrame({

'name': ['Alice', 'Bob', 'Charlie', 'David'],

'age': [24, 29, 22, 31],

'score': [88, 92, 79, 95]

}, index=['a', 'b', 'c', 'd'])

print("--- df.loc['a':'c', ['name', 'score']] ---")

print(df.loc['a':'c', ['name', 'score']])

print("\n--- df.iloc[0:2, 0:2] ---")

print(df.iloc[0:2, 0:2])

4. 高频核心操作：条件筛选、缺失值与分组聚合

4.1 布尔条件筛选 (Boolean Indexing)

在 Pandas 中使用多个条件组合筛选时，必须遵守以下两条规则：

逻辑与使用 &，逻辑或使用 |，逻辑非使用 ~（不能使用 Python 原生的 and, or, not）。
每个独立条件表达式必须用小括号 () 括起来！

python

# 正确写法：年龄 > 25 且 分数 >= 90
high_performers = df[(df['age'] > 25) & (df['score'] >= 90)]

# 成员资格筛选 .isin()
beijing_shanghai = df[df['city'].isin(['Beijing', 'Shanghai'])]

4.2 缺失值处理 (Handling Missing Values)

数据缺失在实际 AI 任务中极常见。Pandas 使用 NaN (Not a Number) 表示缺失值：

检测缺失值：df.isnull().sum()（统计每列缺失值总数）。
删除缺失值：df.dropna(subset=['score'])（删除 score 列包含 NaN 的行）。
填充缺失值：
- 用固定常数填充：df.fillna({'score': 0})
- 用均值/中位数填充：df['age'].fillna(df['age'].mean(), inplace=True)

4.3 分组聚合与透视表 (Groupby & Pivot Table)

groupby 遵循“拆分 (Split) - 应用 (Apply) - 合并 (Combine)”三步模式：

代码实战：数据清洗、布尔筛选与 Groupby

import pandas as pd

import numpy as np

df = pd.DataFrame({

'city': ['Beijing', 'Shanghai', 'Beijing', 'Shanghai', 'Guangzhou', 'Beijing'],

'department': ['HR', 'Tech', 'Tech', 'HR', 'Tech', 'HR'],

'salary': [10000, 18000, 22000, 12000, 15000, np.nan],

'experience': [2, 5, 7, 3, 4, 1]

})

# 1. 缺失值填充 (用薪资均值填充)

df['salary'] = df['salary'].fillna(df['salary'].mean())

# 2. 布尔筛选 (薪资 > 12000)

high_salary = df[df['salary'] > 12000]

print("--- 高薪员工 ---")

print(high_salary)

# 3. 按城市与部门做 Groupby 聚合统计

grouped = df.groupby('city').agg(

avg_salary=('salary', 'mean'),

count=('department', 'count')

)

print("\n--- 按城市 Groupby 统计 ---")

print(grouped)

5. 多表合并：Concat 与 Merge

当需要将多个表格拼接到一起时：

pd.concat([df1, df2], axis=0)：简单拼接（axis=0 纵向按行堆叠，axis=1 横向按列拼接）。
pd.merge(df1, df2, on='key', how='inner')：类似于 SQL 中的 JOIN 关联（支持 'inner', 'left', 'right', 'outer'）。

python

# 按照 user_id 做左连接 (Left Join)
merged_df = pd.merge(user_info, user_orders, on='user_id', how='left')

检查清单 (Checklist)

理解 pd.Series 与 pd.DataFrame 的层次关系及 Index、Columns、Values 物理三要素。
掌握 read_csv / to_csv 的核心参数，以及 df.info() 和 df.describe() 的诊断方法。
能清晰区分 loc（显式标签闭区间）与 iloc（整数位置开区间）的索引用法。
掌握多条件布尔筛选 df[(cond1) & (cond2)] 的括号要求与 isin() 用法。
掌握 isnull().sum() 查重与 fillna() / dropna() 的缺失值清洗流程。
熟练使用 df.groupby().agg() 进行多指标分组统计。

自测题

问答题：为什么在 Pandas 中执行 df[(df['a'] > 10) & (df['b'] < 5)] 时，各个子条件外面的小括号 () 绝对不能省略？
手算题：假设 DataFrame df 有 5 行数据（索引为 0, 1, 2, 3, 4），切片 df.loc[1:3] 与 df.iloc[1:3] 分别会返回几行数据？为什么？
代码题：请编写一行 Pandas 代码，找出 df 中 'city' 为 'Beijing' 且 'score' 列非空 (notnull) 的所有样本，并计算其平均年龄。

下一步

恭喜您完成了 阶段 0：Python 基础与数据分析专项 的学习！您已经掌握了从基础语法、面向对象、NumPy 高维矩阵计算到 Pandas 表格清洗的完整基本功。

下一步我们将正式跨入 阶段 1：机器学习 (Machine Learning)，首先学习 Matplotlib 与 Seaborn 数据可视化与 AI 实验工作流！

参考资料

Pandas Official User Guide：Pandas 官方权威用户手册。
10 Minutes to pandas：官方 10 分钟快速上手指南。
Python for Data Analysis (3rd Edition)：Pandas 作者 Wes McKinney 亲著《Python 数据分析》。

本页目录

从一个问题开始

1. 核心数据结构：Series 与 DataFrame

2. 常用高频 API 全景指南

2.1 数据导入与导出 (IO Operations)

2.2 数据探查与结构概览

3. 数据检索与切片：loc 与 iloc 显式区分

4. 高频核心操作：条件筛选、缺失值与分组聚合

4.1 布尔条件筛选 (Boolean Indexing)

4.2 缺失值处理 (Handling Missing Values)

4.3 分组聚合与透视表 (Groupby & Pivot Table)

5. 多表合并：Concat 与 Merge

检查清单 (Checklist)

自测题

下一步

参考资料

核心概念术语表

pd.DataFrame

带有行索引 (Index) 和列名 (Columns) 的二维异构表格数据结构

pd.Series

带有索引 (Index) 的一维同质或异构数组

df.loc[row_label, col_label]

基于标签名 (Labels) 的显式索引切片（包含末端）

df.iloc[row_idx, col_idx]

基于 0 开始整数位置 (Integer Position) 的隐式切片（不含末端）

关联推荐笔记

查看全部

08.NumPy 数值计算与向量化

NumPy 35 分钟

10.Matplotlib 与 Seaborn 数据可视化

Matplotlib 35 分钟

从一个问题开始

NumPy 擅长高密度的纯数字矩阵运算，但面对字符串列、缺失值 NaN 和按列名检索时却力不从心。

初学者直觉：Pandas DataFrame 物理三要素

一个 pd.DataFrame 相当于附带了额外坐标轴信息的二维表格：

Index (行索引)：每行数据的唯一身份标识（如 0, 1, 2... 或时间日期）。
Columns (列名/表头)：每列数据的语义标签（如 'age', 'price', 'city'）。
Values (底层的 NumPy 数组)：真正存储底层数值、文本与数据的二维矩阵。

Pandas 数据导入与 DataFrame 动态交互实验室Live Input Mode

支持自定义输入 loc/iloc 参数与布尔条件，观察 DataFrame 动态高亮与切片输出

交互参数配置与实时 Python 代码Interactive Input

# 1. 外部 CSV 数据文本

id,name,age,city,score 1,Alice,24,Beijing,88 2,Bob,29,Shanghai,92 3,Charlie,22,Guangzhou,79 4,David,31,Beijing,95 5,Eva,27,Shenzhen,84

import pandas as pd

df = pd.read_csv('users.csv')

Pandas 自动推断第一行为表头 (Columns)，第一列前生成 0 开始的整型 Index。

pd.DataFrame 实时渲染与高亮Full Shape: (5, 5)

Index	id	name	age	city	score
0	1	Alice	24	Beijing	88
1	2	Bob	29	Shanghai	92
2	3	Charlie	22	Guangzhou	79
3	4	David	31	Beijing	95
4	5	Eva	27	Shenzhen	84

dtypes: id(int64), name(object), age(int64), city(object), score(int64)Live Output

1. 核心数据结构：Series 与 DataFrame

Pandas 建立在两大核心数据结构之上：

pd.Series：一维带索引的序列（类似于附带了行标签的一维数组或单列数据）。
pd.DataFrame：二维带行索引和列名的表格（可看作由多个共享相同 Index 的 Series 拼接而成的字典）。

代码实战：创建 Series 与 DataFrame

import pandas as pd

import numpy as np

# 1. 创建一维 Series

s = pd.Series([88, 92, 79], index=['Alice', 'Bob', 'Charlie'], name='Score')

print("--- pd.Series ---")

print(s)

# 2. 从 Python 字典创建二维 DataFrame

data = {

'name': ['Alice', 'Bob', 'Charlie', 'David'],

'age': [24, 29, 22, 31],

'city': ['Beijing', 'Shanghai', 'Guangzhou', 'Beijing'],

'score': [88.5, 92.0, np.nan, 95.5]

}

df = pd.DataFrame(data)

print("\n--- pd.DataFrame ---")

print(df)

2. 常用高频 API 全景指南

在实际数据分析与机器学习预处理中，以下 8 大类 API 是使用频率最高的“基本功”：

2.1 数据导入与导出 (IO Operations)

操作分类	导入方法 (Read)	导出方法 (Write)	常用关键参数
CSV / TXT 文件	`pd.read_csv('file.csv')`	`df.to_csv('out.csv', index=False)`	`encoding='utf-8'`, `sep=','`, `header=0`
Excel 工作表	`pd.read_excel('file.xlsx')`	`df.to_excel('out.xlsx')`	`sheet_name='Sheet1'`
JSON / API 数据	`pd.read_json('file.json')`	`df.to_json('out.json')`	`orient='records'`
SQL 数据库	`pd.read_sql(query, conn)`	`df.to_sql('table', conn)`	`if_exists='replace'`

2.2 数据探查与结构概览

df.head(n) / df.tail(n)：查看前 $n$ 行或后 $n$ 行数据（默认 5 行）。
df.info()：输出数据框内存占用、每列非空值数量 (Non-Null Count) 与数据类型 (dtypes)。
df.describe()：输出数值列的八项统计汇总（均值、标准差、最小值、四分位数、最大值）。
df.shape：返回 (行数, 列数) 元组。
df.columns / df.index：分别查看所有列名与行索引。

代码实战：快速探查表格质量

import pandas as pd

import numpy as np

df = pd.DataFrame({

'user_id': [101, 102, 103, 104, 105],

'age': [25, np.nan, 31, 22, 29],

'income': [50000, 72000, 61000, np.nan, 85000],

'status': ['active', 'inactive', 'active', 'active', 'pending']

})

print("Shape:", df.shape)

print("\n--- df.info() ---")

df.info()

print("\n--- df.describe() ---")

print(df.describe())

3. 数据检索与切片：loc 与 iloc 显式区分

这是初学 Pandas 时最容易混淆的坑点。Pandas 提供了两种精准切片索引器：

df.loc[行标签, 列标签]：基于显式名称/标签 (Label-based) 进行索引。包含起始和结束端点（闭区间 [a, b]）。
df.iloc[行位置, 列位置]：基于0 开始的整数位置 (Integer Position-based) 进行索引。遵循 Python 切片标准（前闭后开区间 [a, b)）。

代码验证：loc 与 iloc 切片差异

import pandas as pd

df = pd.DataFrame({

'name': ['Alice', 'Bob', 'Charlie', 'David'],

'age': [24, 29, 22, 31],

'score': [88, 92, 79, 95]

}, index=['a', 'b', 'c', 'd'])

print("--- df.loc['a':'c', ['name', 'score']] ---")

print(df.loc['a':'c', ['name', 'score']])

print("\n--- df.iloc[0:2, 0:2] ---")

print(df.iloc[0:2, 0:2])

4. 高频核心操作：条件筛选、缺失值与分组聚合

4.1 布尔条件筛选 (Boolean Indexing)

在 Pandas 中使用多个条件组合筛选时，必须遵守以下两条规则：

逻辑与使用 &，逻辑或使用 |，逻辑非使用 ~（不能使用 Python 原生的 and, or, not）。
每个独立条件表达式必须用小括号 () 括起来！

python

# 正确写法：年龄 > 25 且 分数 >= 90
high_performers = df[(df['age'] > 25) & (df['score'] >= 90)]

# 成员资格筛选 .isin()
beijing_shanghai = df[df['city'].isin(['Beijing', 'Shanghai'])]

4.2 缺失值处理 (Handling Missing Values)

数据缺失在实际 AI 任务中极常见。Pandas 使用 NaN (Not a Number) 表示缺失值：

检测缺失值：df.isnull().sum()（统计每列缺失值总数）。
删除缺失值：df.dropna(subset=['score'])（删除 score 列包含 NaN 的行）。
填充缺失值：
- 用固定常数填充：df.fillna({'score': 0})
- 用均值/中位数填充：df['age'].fillna(df['age'].mean(), inplace=True)

4.3 分组聚合与透视表 (Groupby & Pivot Table)

groupby 遵循“拆分 (Split) - 应用 (Apply) - 合并 (Combine)”三步模式：

代码实战：数据清洗、布尔筛选与 Groupby

import pandas as pd

import numpy as np

df = pd.DataFrame({

'city': ['Beijing', 'Shanghai', 'Beijing', 'Shanghai', 'Guangzhou', 'Beijing'],

'department': ['HR', 'Tech', 'Tech', 'HR', 'Tech', 'HR'],

'salary': [10000, 18000, 22000, 12000, 15000, np.nan],

'experience': [2, 5, 7, 3, 4, 1]

})

# 1. 缺失值填充 (用薪资均值填充)

df['salary'] = df['salary'].fillna(df['salary'].mean())

# 2. 布尔筛选 (薪资 > 12000)

high_salary = df[df['salary'] > 12000]

print("--- 高薪员工 ---")

print(high_salary)

# 3. 按城市与部门做 Groupby 聚合统计

grouped = df.groupby('city').agg(

avg_salary=('salary', 'mean'),

count=('department', 'count')

)

print("\n--- 按城市 Groupby 统计 ---")

print(grouped)

5. 多表合并：Concat 与 Merge

当需要将多个表格拼接到一起时：

pd.concat([df1, df2], axis=0)：简单拼接（axis=0 纵向按行堆叠，axis=1 横向按列拼接）。
pd.merge(df1, df2, on='key', how='inner')：类似于 SQL 中的 JOIN 关联（支持 'inner', 'left', 'right', 'outer'）。

python

# 按照 user_id 做左连接 (Left Join)
merged_df = pd.merge(user_info, user_orders, on='user_id', how='left')

检查清单 (Checklist)

理解 pd.Series 与 pd.DataFrame 的层次关系及 Index、Columns、Values 物理三要素。
掌握 read_csv / to_csv 的核心参数，以及 df.info() 和 df.describe() 的诊断方法。
能清晰区分 loc（显式标签闭区间）与 iloc（整数位置开区间）的索引用法。
掌握多条件布尔筛选 df[(cond1) & (cond2)] 的括号要求与 isin() 用法。
掌握 isnull().sum() 查重与 fillna() / dropna() 的缺失值清洗流程。
熟练使用 df.groupby().agg() 进行多指标分组统计。

自测题

问答题：为什么在 Pandas 中执行 df[(df['a'] > 10) & (df['b'] < 5)] 时，各个子条件外面的小括号 () 绝对不能省略？
手算题：假设 DataFrame df 有 5 行数据（索引为 0, 1, 2, 3, 4），切片 df.loc[1:3] 与 df.iloc[1:3] 分别会返回几行数据？为什么？
代码题：请编写一行 Pandas 代码，找出 df 中 'city' 为 'Beijing' 且 'score' 列非空 (notnull) 的所有样本，并计算其平均年龄。

下一步

下一步我们将正式跨入 阶段 1：机器学习 (Machine Learning)，首先学习 Matplotlib 与 Seaborn 数据可视化与 AI 实验工作流！

参考资料

Pandas Official User Guide：Pandas 官方权威用户手册。
10 Minutes to pandas：官方 10 分钟快速上手指南。
Python for Data Analysis (3rd Edition)：Pandas 作者 Wes McKinney 亲著《Python 数据分析》。