准备知识33 章节

Python 与科学计算

9 篇

01.Python 环境与 Notebook 02.变量、类型与表达式 03.控制流与推导式 04.核心数据结构 05.函数、作用域与函数式工具 06.模块、包与配置 07.文件、异常、调试与测试 08.NumPy 数值计算与向量化 09. Pandas 数据分析与表格操作实战

数学基础（线代、微积分与概率统计）

15 篇

01.向量、矩阵与余弦相似度 02.矩阵运算、秩与几何变换 03.基、Gram-Schmidt 与最小二乘 04.特征值分解、对角化与正定矩阵 05.SVD 分解与 PCA 降维实战 06. 偏导数、链式法则与计算图 07. 梯度、Jacobian/Hessian 与凸性 08. 梯度下降算法：Batch, SGD 与 Mini-batch 09. 现代优化器：Momentum, RMSProp 与 Adam 10. 损失函数思想与凸函数极小化 11. 随机变量、条件概率与贝叶斯定理 12. 常见分布、期望方差与协方差 13. 大数定律、中心极限定理与 Bootstrap 14. MLE, MAP 与高斯-MSE/伯努利-BCE 推导 15. 假设检验、p值、效应量与 A/B 测试实战

数据处理与特征工程

5 篇

01. 数据字典、质量审计与 EDA 清单 02. 随机、分层、分组与时间序列切分 03. 预处理、编码与防数据泄漏铁律 04. 特征构造、多重共线性与类别不平衡消融 05. ColumnTransformer, Pipeline 与模型持久化

实验与工程习惯

4 篇

01. 规范仓库结构、YAML 配置与随机性控制 02. 模块化代码重构与 pytest 5大契约测试 03. 结构化实验记录 runs/ 与误分类错误分析 04. 端到端从零复现、多模型基线对比与报告

本模块进度0%

已完成 0 / 33 个章节

查看知识全景图

笔记库/准备知识/04. 特征构造、多重共线性与类别不平衡消融

← 返回知识地图

04. 特征构造、多重共线性与类别不平衡消融

难度: 中等预计阅读 60 分钟学习进度 0%

核心导读

掌握业务特征衍生、VIF 多重共线性诊断与类别不平衡处理，使用特征消融实验（Ablation Study）评估特征有效性。

从一个问题开始

在实际 AI 项目中，是盲目加 1,000 个特征效果好，还是精心构造 10 个具有业务含义的高质量特征更好？如果两个特征（比如“房屋平方英尺”与“房屋平方米”）高度冗余重复，为什么会导致线性模型的系数发生剧烈震荡？

答案在于特征构造、共线性筛选与消融实验。数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。这一章我们将学习如何衍生比率特征、手算 VIF 多重共线性，并使用特征消融（Ablation Study）验证新特征的真实价值。

初学者直觉：顶级大厨的食材搭配 (Cooking Ablation)

把特征工程比作大厨烹饪一道名菜：

特征构造：不仅是用原始食材（如原始特征：总价、面积），而是精心调制出衍生酱汁（如比率特征：单价 = 总价 / 面积）。
共线性筛选：如果两瓶调料味道完全重叠（高度多重共线性），不仅多余，还会破坏菜肴风味的稳定性。
消融实验 (Ablation Study)：为了证明秘制酱汁有用，大厨会准备 3 组对照：【基础组 $\to$ 常用组 $\to$ 秘制酱汁组】，用事实说话！

1. 特征构造与多重共线性

1.1 常用业务特征构造手段

比率特征 (Ratio Features)：如 人均收入 = 总收入 / 家庭人口、点击率 CTR = 点击数 / 展现数。
组合交互特征 (Interaction Features)：如 面积 * 楼层。
时间窗聚合特征 (Aggregation)：如 过去 7 天平均消费金额。

1.2 多重共线性 (Multicollinearity) 与 VIF

当两个或多个特征之间存在强线性相关关系时，会导致线性模型的参数估计极不稳定（矩阵 $X^T X$ 接近不可逆，条件数极大）。

使用方差膨胀因子 (VIF) 进行诊断：对第 $i$ 个特征与其他所有特征做回归，得到拟合优度 $R_i^2$ ：

\text{VIF}_i = \frac{1}{1 - R_i^2}

诊断标准： $\text{VIF} > 5$ 说明存在中度共线性； $\text{VIF} > 10$ 说明存在严重共线性，必须剔除或降维！

2. 类别不平衡与特征消融

2.1 类别不平衡处理 (Class Imbalance)

Class Weight 权重惩罚：在损失函数中增加对少数类错判的惩罚权重 $w_j = \frac{N}{K \cdot n_j}$ （推荐首选，无额外数据伪造）。
SMOTE 过采样：在少数类样本间插值合成新伪样本（注意：SMOTE 必须只在训练集上 fit！）。

2.2 特征消融实验 (Ablation Study) 规范

严禁在没有基线对比的情况下声称“新特征有效”。标准消融实验必须建立至少 3 组基线：

基线 0 (Baseline 0)：仅使用原始特征 + 朴素模型。
基线 1 (Baseline 1)：清洗 + 基础编码与缩放。
基线 2 (Baseline 2)：加入新衍生特征 + 不平衡处理，计算相对增量 $\Delta$ 。

3. 手算演练

手算练习：方差膨胀因子 (VIF) 判定手算

假设我们有 3 个特征：身高(cm)、身高(m) 和 体重(kg)。现对 身高(m) 用其他两个特征做线性回归，得到的拟合优度 $R_i^2 = 0.90$ （高度可被其他特征预测）：

代入 VIF 公式手算：

\text{VIF} = \frac{1}{1 - R_i^2} = \frac{1}{1 - 0.90} = \frac{1}{0.10} = \mathbf{10.0}

评估结论：计算出的 $\text{VIF} = 10.0 \ge 10$ ，触及严重共线性警戒红线！必须将冗余特征 身高(m) 剔除。

4. 动手实战：手写 VIF 筛选与三组消融实验代码

下面的代码演示如何计算 VIF 进行特征剔除，并运行三组特征消融实验（Ablation Study）：

VIF 共线性筛选与三组消融实验代码

import numpy as np

import pandas as pd

from statsmodels.stats.outliers_influence import variance_inflation_factor

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LogisticRegression

from sklearn.metrics import f1_score

# 1. 构造包含共线性与不平衡标签的数据集

np.random.seed(42)

N = 300

x1 = np.random.normal(10, 2, N)

x2 = x1 * 2.0 + np.random.normal(0, 0.01, N) # x2 与 x1 存在极强共线性!

x3 = np.random.normal(5, 1, N)

y = (x1 + x3 > 16.0).astype(int) # 不平衡标签

df = pd.DataFrame({'x1': x1, 'x2': x2, 'x3': x3})

# 2. 手算/计算 VIF 函数

def calculate_vif(X_df: pd.DataFrame) -> pd.DataFrame:

vif_data = pd.DataFrame()

vif_data["特征"] = X_df.columns

vif_data["VIF"] = [variance_inflation_factor(X_df.values, i) for i in range(X_df.shape[1])]

return vif_data

print("================ 1. 原始特征 VIF 多重共线性诊断 ================")

print(calculate_vif(df))

# 剔除高 VIF 特征 x2

df_clean = df.drop(columns=['x2'])

# 衍生新特征 x4 = x1 / x3 (比率特征)

df_clean['x4_ratio'] = df_clean['x1'] / df_clean['x3']

# 3. 三组消融实验 (Ablation Study)

X_tr0, X_te0, y_tr, y_te = train_test_split(df, y, test_size=0.3, random_state=42)

X_tr2, X_te2, _, _ = train_test_split(df_clean, y, test_size=0.3, random_state=42)

# Baseline 0: 原始特征

m0 = LogisticRegression().fit(X_tr0, y_tr)

f1_0 = f1_score(y_te, m0.predict(X_te0))

# Baseline 1: 剔除共线性特征

m1 = LogisticRegression().fit(X_tr0.drop(columns=['x2']), y_tr)

f1_1 = f1_score(y_te, m1.predict(X_te0.drop(columns=['x2'])))

# Baseline 2: 衍生特征 + 类别权重平衡 class_weight='balanced'

m2 = LogisticRegression(class_weight='balanced').fit(X_tr2, y_tr)

f1_2 = f1_score(y_te, m2.predict(X_te2))

print("\n================ 2. 特征消融实验报告 (Ablation Study) ================")

print(f"Baseline 0 (原始全量特征) - F1-Score: {f1_0:.4f}")

print(f"Baseline 1 (剔除高 VIF 共线性) - F1-Score: {f1_1:.4f} (Δ: {f1_1 - f1_0:+.4f})")

print(f"Baseline 2 (衍生比率+ClassWeight) - F1-Score: {f1_2:.4f} (Δ: {f1_2 - f1_1:+.4f})")

import numpy as np
import pandas as pd
from statsmodels.stats.outliers_influence import variance_inflation_factor
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import f1_score

# 1. 构造包含共线性与不平衡标签的数据集
np.random.seed(42)
N = 300
x1 = np.random.normal(10, 2, N)
x2 = x1 * 2.0 + np.random.normal(0, 0.01, N) # x2 与 x1 存在极强共线性!
x3 = np.random.normal(5, 1, N)
y = (x1 + x3 > 16.0).astype(int) # 不平衡标签

df = pd.DataFrame({'x1': x1, 'x2': x2, 'x3': x3})

# 2. 手算/计算 VIF 函数
def calculate_vif(X_df: pd.DataFrame) -> pd.DataFrame:
    vif_data = pd.DataFrame()
    vif_data["特征"] = X_df.columns
    vif_data["VIF"] = [variance_inflation_factor(X_df.values, i) for i in range(X_df.shape[1])]
    return vif_data

print("================ 1. 原始特征 VIF 多重共线性诊断 ================")
print(calculate_vif(df))

# 剔除高 VIF 特征 x2
df_clean = df.drop(columns=['x2'])

# 衍生新特征 x4 = x1 / x3 (比率特征)
df_clean['x4_ratio'] = df_clean['x1'] / df_clean['x3']

# 3. 三组消融实验 (Ablation Study)
X_tr0, X_te0, y_tr, y_te = train_test_split(df, y, test_size=0.3, random_state=42)
X_tr2, X_te2, _, _ = train_test_split(df_clean, y, test_size=0.3, random_state=42)

# Baseline 0: 原始特征
m0 = LogisticRegression().fit(X_tr0, y_tr)
f1_0 = f1_score(y_te, m0.predict(X_te0))

# Baseline 1: 剔除共线性特征
m1 = LogisticRegression().fit(X_tr0.drop(columns=['x2']), y_tr)
f1_1 = f1_score(y_te, m1.predict(X_te0.drop(columns=['x2'])))

# Baseline 2: 衍生特征 + 类别权重平衡 class_weight='balanced'
m2 = LogisticRegression(class_weight='balanced').fit(X_tr2, y_tr)
f1_2 = f1_score(y_te, m2.predict(X_te2))

print("\n================ 2. 特征消融实验报告 (Ablation Study) ================")
print(f"Baseline 0 (原始全量特征)        - F1-Score: {f1_0:.4f}")
print(f"Baseline 1 (剔除高 VIF 共线性)   - F1-Score: {f1_1:.4f}  (Δ: {f1_1 - f1_0:+.4f})")
print(f"Baseline 2 (衍生比率+ClassWeight) - F1-Score: {f1_2:.4f}  (Δ: {f1_2 - f1_1:+.4f})")

5. 常见错误与避坑指南

现象	先问什么	处理方式
把 SMOTE 作用到了测试集 Test 上	是否混淆了采样对象	SMOTE 过采样必须且只能作用于训练集 Train！严禁对测试集做过采样或伪造数据
认为添加特征越多，模型效果必然越好	是否引入了冗余共线性或噪声	特征过多会导致维度灾难与过拟合，必须使用 VIF、方差过滤或消融实验做减法
在不平衡数据上使用 Accuracy 评估消融效果	评估指标是否合适	类别不平衡时必须使用 F1-Score / PR-AUC 评估消融收益，不能看 Accuracy

检查清单 (Checklist)

能举例说明比率特征、交互特征与聚合特征的衍生构造方法。
能解释多重共线性的危害，并手算方差膨胀因子 $\text{VIF} = \frac{1}{1 - R_i^2}$ 。
能区分 SMOTE 过采样与 Class Weight 权重惩罚的原理与使用规范。
能阐述消融实验（Ablation Study）建立多组基线对比的必要性。
能编写 Python 代码计算 VIF 并输出三组消融实验对照表。

自测题

在某房屋预测模型中，已知特征 $x_1$ 线性拟合其他特征时的 $R^2 = 0.95$ 。请手算其 VIF 值，并判断是否应该剔除该特征。
解释：为什么在线性回归和 Logistic 回归中，多重共线性能导致模型系数（Weights）变得极其不稳定？
如果要在数据集上使用 SMOTE 合成新样本，应该在 train_test_split 之前还是之后执行？为什么？
【代码阅读题】在上一节代码中，为什么 LogisticRegression(class_weight='balanced') 能够在不合成新样本的情况下改善不平衡数据的预测性能？

点击查看参考答案

$\text{VIF} = \frac{1}{1 - 0.95} = \frac{1}{0.05} = 20.0$ 。因为 $\text{VIF} = 20 > 10$ ，达到严重共线性警戒线，应该剔除该特征。
因为当两特征强相关时，特征矩阵 $X^T X$ 的行列式接近 0，逆矩阵 $(X^T X)^{-1}$ 极其敏感。数据微小的扰动就会导致解出的参数 $w_1$ 和 $w_2$ 产生极大且相反的剧烈波动。
必须在 train_test_split 之后仅对训练集 X_train 执行！如果在切分前 SMOTE，伪造的新样本会同时渗入训练集和测试集，造成严重的伪高分泄漏。
因为 class_weight='balanced' 会根据类别频率自动计算损失惩罚权重 $w_j = \frac{N}{K \cdot n_j}$ ；在反向传播计算梯度时给少数类错判施加更大的惩罚，逼迫模型重视少数类。

下一步

进入下一个专项 05. ColumnTransformer, Pipeline 与模型持久化，学习使用 ColumnTransformer 与 Pipeline 构建端到端预处理流水线，并完成模型的 .joblib 持久化。

参考资料

scikit-learn: Target Weighting and Class Imbalance：类别不平衡处理指南。
statsmodels: Variance Inflation Factor：VIF API 文档。
Feature Engineering for Machine Learning：第 6 章降维与特征选择。

本页目录

从一个问题开始

1. 特征构造与多重共线性

1.1 常用业务特征构造手段

1.2 多重共线性 (Multicollinearity) 与 VIF

2. 类别不平衡与特征消融

2.1 类别不平衡处理 (Class Imbalance)

2.2 特征消融实验 (Ablation Study) 规范

3. 手算演练

手算练习：方差膨胀因子 (VIF) 判定手算

4. 动手实战：手写 VIF 筛选与三组消融实验代码

5. 常见错误与避坑指南

检查清单 (Checklist)

自测题

下一步

参考资料

核心概念术语表

\text{VIF}_i = \frac{1}{1 - R_i^2}

方差膨胀因子 (Variance Inflation Factor)

w_j = \frac{N}{K \cdot n_j}

类别不平衡 Class Weight 自动平衡权重公式

关联推荐笔记

查看全部

03. 预处理、编码与防数据泄漏铁律

预处理 55 分钟

05. ColumnTransformer, Pipeline 与模型持久化

Pipeline 60 分钟

从一个问题开始

初学者直觉：顶级大厨的食材搭配 (Cooking Ablation)

把特征工程比作大厨烹饪一道名菜：

特征构造：不仅是用原始食材（如原始特征：总价、面积），而是精心调制出衍生酱汁（如比率特征：单价 = 总价 / 面积）。
共线性筛选：如果两瓶调料味道完全重叠（高度多重共线性），不仅多余，还会破坏菜肴风味的稳定性。
消融实验 (Ablation Study)：为了证明秘制酱汁有用，大厨会准备 3 组对照：【基础组 $\to$ 常用组 $\to$ 秘制酱汁组】，用事实说话！

1. 特征构造与多重共线性

1.1 常用业务特征构造手段

比率特征 (Ratio Features)：如 人均收入 = 总收入 / 家庭人口、点击率 CTR = 点击数 / 展现数。
组合交互特征 (Interaction Features)：如 面积 * 楼层。
时间窗聚合特征 (Aggregation)：如 过去 7 天平均消费金额。

1.2 多重共线性 (Multicollinearity) 与 VIF

当两个或多个特征之间存在强线性相关关系时，会导致线性模型的参数估计极不稳定（矩阵 $X^T X$ 接近不可逆，条件数极大）。

使用方差膨胀因子 (VIF) 进行诊断：对第 $i$ 个特征与其他所有特征做回归，得到拟合优度 $R_i^2$ ：

\text{VIF}_i = \frac{1}{1 - R_i^2}

诊断标准： $\text{VIF} > 5$ 说明存在中度共线性； $\text{VIF} > 10$ 说明存在严重共线性，必须剔除或降维！

2. 类别不平衡与特征消融

2.1 类别不平衡处理 (Class Imbalance)

Class Weight 权重惩罚：在损失函数中增加对少数类错判的惩罚权重 $w_j = \frac{N}{K \cdot n_j}$ （推荐首选，无额外数据伪造）。
SMOTE 过采样：在少数类样本间插值合成新伪样本（注意：SMOTE 必须只在训练集上 fit！）。

2.2 特征消融实验 (Ablation Study) 规范

严禁在没有基线对比的情况下声称“新特征有效”。标准消融实验必须建立至少 3 组基线：

基线 0 (Baseline 0)：仅使用原始特征 + 朴素模型。
基线 1 (Baseline 1)：清洗 + 基础编码与缩放。
基线 2 (Baseline 2)：加入新衍生特征 + 不平衡处理，计算相对增量 $\Delta$ 。

3. 手算演练

手算练习：方差膨胀因子 (VIF) 判定手算

代入 VIF 公式手算：

\text{VIF} = \frac{1}{1 - R_i^2} = \frac{1}{1 - 0.90} = \frac{1}{0.10} = \mathbf{10.0}

评估结论：计算出的 $\text{VIF} = 10.0 \ge 10$ ，触及严重共线性警戒红线！必须将冗余特征 身高(m) 剔除。

4. 动手实战：手写 VIF 筛选与三组消融实验代码

下面的代码演示如何计算 VIF 进行特征剔除，并运行三组特征消融实验（Ablation Study）：

VIF 共线性筛选与三组消融实验代码

import numpy as np

import pandas as pd

from statsmodels.stats.outliers_influence import variance_inflation_factor

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LogisticRegression

from sklearn.metrics import f1_score

# 1. 构造包含共线性与不平衡标签的数据集

np.random.seed(42)

N = 300

x1 = np.random.normal(10, 2, N)

x2 = x1 * 2.0 + np.random.normal(0, 0.01, N) # x2 与 x1 存在极强共线性!

x3 = np.random.normal(5, 1, N)

y = (x1 + x3 > 16.0).astype(int) # 不平衡标签

df = pd.DataFrame({'x1': x1, 'x2': x2, 'x3': x3})

# 2. 手算/计算 VIF 函数

def calculate_vif(X_df: pd.DataFrame) -> pd.DataFrame:

vif_data = pd.DataFrame()

vif_data["特征"] = X_df.columns

vif_data["VIF"] = [variance_inflation_factor(X_df.values, i) for i in range(X_df.shape[1])]

return vif_data

print("================ 1. 原始特征 VIF 多重共线性诊断 ================")

print(calculate_vif(df))

# 剔除高 VIF 特征 x2

df_clean = df.drop(columns=['x2'])

# 衍生新特征 x4 = x1 / x3 (比率特征)

df_clean['x4_ratio'] = df_clean['x1'] / df_clean['x3']

# 3. 三组消融实验 (Ablation Study)

X_tr0, X_te0, y_tr, y_te = train_test_split(df, y, test_size=0.3, random_state=42)

X_tr2, X_te2, _, _ = train_test_split(df_clean, y, test_size=0.3, random_state=42)

# Baseline 0: 原始特征

m0 = LogisticRegression().fit(X_tr0, y_tr)

f1_0 = f1_score(y_te, m0.predict(X_te0))

# Baseline 1: 剔除共线性特征

m1 = LogisticRegression().fit(X_tr0.drop(columns=['x2']), y_tr)

f1_1 = f1_score(y_te, m1.predict(X_te0.drop(columns=['x2'])))

# Baseline 2: 衍生特征 + 类别权重平衡 class_weight='balanced'

m2 = LogisticRegression(class_weight='balanced').fit(X_tr2, y_tr)

f1_2 = f1_score(y_te, m2.predict(X_te2))

print("\n================ 2. 特征消融实验报告 (Ablation Study) ================")

print(f"Baseline 0 (原始全量特征) - F1-Score: {f1_0:.4f}")

print(f"Baseline 1 (剔除高 VIF 共线性) - F1-Score: {f1_1:.4f} (Δ: {f1_1 - f1_0:+.4f})")

print(f"Baseline 2 (衍生比率+ClassWeight) - F1-Score: {f1_2:.4f} (Δ: {f1_2 - f1_1:+.4f})")

df = pd.DataFrame({'x1': x1, 'x2': x2, 'x3': x3})

print("================ 1. 原始特征 VIF 多重共线性诊断 ================")
print(calculate_vif(df))

# 剔除高 VIF 特征 x2
df_clean = df.drop(columns=['x2'])

# 衍生新特征 x4 = x1 / x3 (比率特征)
df_clean['x4_ratio'] = df_clean['x1'] / df_clean['x3']

# Baseline 0: 原始特征
m0 = LogisticRegression().fit(X_tr0, y_tr)
f1_0 = f1_score(y_te, m0.predict(X_te0))

# Baseline 1: 剔除共线性特征
m1 = LogisticRegression().fit(X_tr0.drop(columns=['x2']), y_tr)
f1_1 = f1_score(y_te, m1.predict(X_te0.drop(columns=['x2'])))

# Baseline 2: 衍生特征 + 类别权重平衡 class_weight='balanced'
m2 = LogisticRegression(class_weight='balanced').fit(X_tr2, y_tr)
f1_2 = f1_score(y_te, m2.predict(X_te2))

5. 常见错误与避坑指南

现象	先问什么	处理方式
把 SMOTE 作用到了测试集 Test 上	是否混淆了采样对象	SMOTE 过采样必须且只能作用于训练集 Train！严禁对测试集做过采样或伪造数据
认为添加特征越多，模型效果必然越好	是否引入了冗余共线性或噪声	特征过多会导致维度灾难与过拟合，必须使用 VIF、方差过滤或消融实验做减法
在不平衡数据上使用 Accuracy 评估消融效果	评估指标是否合适	类别不平衡时必须使用 F1-Score / PR-AUC 评估消融收益，不能看 Accuracy

检查清单 (Checklist)

能举例说明比率特征、交互特征与聚合特征的衍生构造方法。
能解释多重共线性的危害，并手算方差膨胀因子 $\text{VIF} = \frac{1}{1 - R_i^2}$ 。
能区分 SMOTE 过采样与 Class Weight 权重惩罚的原理与使用规范。
能阐述消融实验（Ablation Study）建立多组基线对比的必要性。
能编写 Python 代码计算 VIF 并输出三组消融实验对照表。

自测题

在某房屋预测模型中，已知特征 $x_1$ 线性拟合其他特征时的 $R^2 = 0.95$ 。请手算其 VIF 值，并判断是否应该剔除该特征。
解释：为什么在线性回归和 Logistic 回归中，多重共线性能导致模型系数（Weights）变得极其不稳定？
如果要在数据集上使用 SMOTE 合成新样本，应该在 train_test_split 之前还是之后执行？为什么？
【代码阅读题】在上一节代码中，为什么 LogisticRegression(class_weight='balanced') 能够在不合成新样本的情况下改善不平衡数据的预测性能？

点击查看参考答案

$\text{VIF} = \frac{1}{1 - 0.95} = \frac{1}{0.05} = 20.0$ 。因为 $\text{VIF} = 20 > 10$ ，达到严重共线性警戒线，应该剔除该特征。
因为当两特征强相关时，特征矩阵 $X^T X$ 的行列式接近 0，逆矩阵 $(X^T X)^{-1}$ 极其敏感。数据微小的扰动就会导致解出的参数 $w_1$ 和 $w_2$ 产生极大且相反的剧烈波动。
必须在 train_test_split 之后仅对训练集 X_train 执行！如果在切分前 SMOTE，伪造的新样本会同时渗入训练集和测试集，造成严重的伪高分泄漏。
因为 class_weight='balanced' 会根据类别频率自动计算损失惩罚权重 $w_j = \frac{N}{K \cdot n_j}$ ；在反向传播计算梯度时给少数类错判施加更大的惩罚，逼迫模型重视少数类。

下一步

参考资料

scikit-learn: Target Weighting and Class Imbalance：类别不平衡处理指南。
statsmodels: Variance Inflation Factor：VIF API 文档。
Feature Engineering for Machine Learning：第 6 章降维与特征选择。