机器学习模型概念

有监督模型 Supervised Model

无监督模型 Unsupervised Model

• K-means

• 层次聚类

• 密度聚类

• PCA

分类模型

回归模型

生成模型Generative Models和判别式模型Discriminative Models

• 生成模型
对观测数据的生成过程进行建模，例如朴素贝叶斯、HMM

• 判别式模型
直接学习并建模类别标签之间的决策边界或概率分布，例如k-means、SVM、线性回归

最小二乘法

1. 定义
1. 最小二乘法是一种优化方法，用于拟合模型与观测数据之间的关系，尤其是线性回归模型
2. 它通过最小化实际观测值与模型预测值之间的残差平方和来确定最佳拟合参数

2. 优化目标
1. 最小化残差平方和，即最小化实际观测值与模型预测值之间的差异
2. 通过求解使得残差平方和最小化的参数值，从而得到对观测数据的最佳拟合(MSE)

极大似然估计（Maximum Likelihood Estimation, MLE）

1. 定义
1. 似然函数是关于参数的函数，描述了在给定观测数据时，参数取值的可能性大小
2. 在统计推断中，似然函数通常用于估计模型参数。它表示观测数据在不同参数取值下出现的概率

2. 优化目标
1. 似然函数考虑数据分布的条件概率，并寻找使得观测数据出现概率最高的参数

梯度下降

• 批量梯度下降BGD: 每一次迭代中使用了全部训练样本
优点：局部最优解
缺点：可能陷入局部最优解; 计算成本高

• 随机梯度下降SGD: 只需要使用单个样本或者一个子集的样本来计算梯度
优点：计算成本低
缺点：更新方向不稳定; 可能会受到噪声的影响

• 小批量梯度下降MBGD: 样本数量介于批量梯度下降和随机梯度下降之间

线性模型

线性回归Linear Regression

训练步骤

1. 随机初始化参数

2. 当前参数预测值，MSE计算损失值

3. 梯度下降

4. 预测

损失函数

• 均方误差 (Mean Squared Error, MSE),所有样本的平方损失的平均值
⚠️
通过最小化误差的平方和寻找数据的最佳函数匹配 广义来说就是机器学习中的平方损失函数

评估回归模型指标

1. MSE (均方误差)
 

2. RMSE (均方根误差)

3. MAE (平均绝对误差)

4. R Squared (决定系数)
yi真实值，y^i是预测值，y_是平均值
• R² 接近 1：说明模型能够很好地解释因变量的变异，即模型拟合良好，预测能力较强。
• R² 接近 0：说明模型无法解释因变量的变异，即模型拟合较差，预测能力较弱。
• R² 为负数：表示模型的表现比直接使用平均值预测还要差。

Q&A和注意事项

1. 线性假设限制
• 线性回归要求因变量与自变量之间的关系是线性的，若关系非线性，则线性回归模型可能会表现不佳。

2. 共线性问题
• 自变量之间存在高度相关性时，可能导致模型系数估计不准确，需要进行适当的特征选择或正则化处理。

逻辑回归模型Logistic Regression

训练步骤

1. 随机初始化参数

2. 通过sigmoid和当前参数预测值，对数函数(交叉熵函数)计算损失值

3. 梯度下降

4. 通过sigmoid计算输出概率(0-1)

损失函数

Sigmoid函数

Q&A和注意事项

1. LR能否解决非线性分类问题？
可以但能力受限。只要使用kernel trick（核技巧）

2. 为什么LR用交叉熵损失而不是MSE？

3. LR如何解决多分类？
• 一对多（One-vs-Rest，OvR）
• 每次取一种样本作为一类，剩下的为另一类，进行训练
• n个二分类问题
• 将预测样本传入这n个问题，哪个概率高就是哪类
• 一对一（One-vs-One，OvO) 用时长但是分类更加准确
• n类样本每次挑出2种类型,Cn2种二分类
• 将预测样本传入这Cn2种二分类模型，通过投票或种类最多来确定最终的类别
• 多项逻辑回归（Multinomial Logistic Regression）
• 直接扩展逻辑回归以处理多类别输出，使用softmax函数来对多个类别的概率进行建模

4. 在训练的过程当中，如果有很多的特征高度相关或者说有一个特征重复了100遍，会造成怎样的影响？
• 如果在损失函数最终收敛的情况下，其实就算有很多特征高度相关也不会影响分类器的效果。但是对特征本身来说的话，假设只有一个特征，在不考虑采样的情况下，你现在将它重复100遍。训练以后完以后，数据还是这么多

5. 为什么在训练的过程当中将高度相关的特征去掉？
• 去掉高度相关的特征会让模型的可解释性更好。可以大大提高训练的速度。如果模型当中有很多特征高度相关的话，就算损失函数本身收敛了，但实际上参数是没有收敛的，这样会拉低训练的速度。其次是特征多了，本身就会增大训练的时间。

6. 线性回归 vs LR

套索回归（Lasso Regression）

L1范数定义

L1范数作用和意义

1. 特征选择: L1范数惩罚会使一些系数变为零，因此它在特征选择中具有显著的作用。将对预测无贡献或相关性较小的特征的系数缩减为零

2. 抗噪声能力: 有效地剔除噪声或冗余特征

3. 稳定性和可解释性

岭回归（Ridge Regression）

L2范数定义

L2范数作用和意义

1. 防止过拟合：L2 正则化有助于防止模型在训练数据上过度拟合，通过对权重进行惩罚，使得模型更加平滑，减少泛化误差。

2. 泛化能力：在存在多重共线性（即特征之间高度相关）的情况下，L2范数可以通过减少参数的大小，提高模型对数据的泛化能力。例如，如果两个特征高度相关，L2范数可以帮助分散它们的影响，而不是让其中一个特征完全占据主导地位

L1范数 vs L2范数

支持向量机SVM

训练步骤

1. 选择核函数

2. 定义优化问题

3. 求解优化得到最优超平面参数w和b：梯度下降

4. 最佳参数预测

核函数

1. 常见核函数：
• 线性核函数（Linear Kernel）：，直接使用原始特征进行内积计算。
• 多项式核函数（Polynomial Kernel）：引入多项式的非线性映射。
• 高斯核函数（Gaussian Kernel，也称为径向基函数核）：通过距离度量将数据映射到无限维度的特征空间。
• sigmoid核函数（Sigmoid Kernel）：模拟神经网络中的非线性映射。

2. 计算得到内积：这个内积在某种意义上反映了在原始空间中的相似度或者关系

优化问题

损失函数

Q&A和注意事项

1. 软间隔和硬间隔
• 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；
• 当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；
• 当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机

2. 为什么SVM对缺失数据敏感？
SVM 没有处理缺失值的策略。而 SVM 希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏

3. SVM 核函数之间的区别
一般选择线性核和高斯核，也就是线性核与 RBF 核

4. SVM如何处理多分类问题？
• 直接法，直接在目标函数上修改，将多个分类面的参数求解合并到一个最优化问题里面，计算量大
• 间接法：对训练器进行组合。其中比较典型的有一对一，和一对多

5. LR vs SVM

决策树

ID3算法

• ID3相当于用极大似然法进行概率模型的选择

• 使用 二元切分法则易于对树构建过程中进行调整以处理连续型特征

步骤

1. 计算目标变量(Yes/No)信息熵
信息熵（Entropy）是用来衡量数据集纯度的一种度量。c是类别，pi是概率
 

2. 计算每个属性的信息增益
信息增益（Information Gain）是通过某个属性A对数据集S进行分割后，信息熵的减少量
 

1. 选择信息增益最大的属性

C4.5算法

1. 能够处理连续属性，而不仅仅是离散属性。对于连续值，排序后选择中间点

2. 可以处理数据集中的缺失值

步骤

1. 计算数据集信息熵
计算目标变量（是否适合打球）的熵

2. 计算信息增益和信息增益率
对每个属性（天气、温度、湿度、风力）计算信息增益和信息增益率

3. 选择信息增益率最高的属性

分裂信息 Split Information

CART算法

步骤

1. 计算Gini指数，样本被选中的概率 * 样本被分错的概率 (回归问题直接用平方误差)

2. 选择Gini指数最小的作为分割属性

剪枝

Q&A和注意事项

1. 基尼指数和信息熵都表示数据不确定性，为什么CART使用基尼指数？
CART只要是二叉树，计算量少

2. 基尼系数(Gini)存在的问题?
基尼指数偏向于多值属性;当类数较大时，基尼指数求解比较困难;基尼指数倾向于支持在两个分区中生成大小相同的测试

决策树比较

ID3 vs C4.5 vs CART

构造决策树的步骤

1. 特征选择

2. 决策树的生成（包含预剪枝）  ---- 只考虑局部最优

3. 决策树的剪枝（后剪枝）      ---- 只考虑全局最优

决策树的优缺点

Q&A和注意事项

1. 决策树算法中如何避免过拟合和欠拟合？‍
• 过拟合:选择能够反映业务逻辑的训练集去产生决策树;剪枝操作(前置剪枝和后置剪枝); K折交叉验证(K-fold CV)
• 欠拟合:增加树的深度,RF

2. 决策树怎么剪枝？
• 预剪枝是在决策树的构建过程中加入限制，比如控制叶子节点最少的样本个数，提前停止
• 后剪枝是在决策树构建完成之后，根据加上正则项的结构风险最小化自下向上进行的剪枝操作

训练步骤

1. 选择参数k

2. 计算距离 (欧式距离，曼哈顿距离)

3. 选择最近的k个邻居

4. 分类或者回归：在分类问题中，K个邻居中的多数类别作为待分类样本的预测类别。在回归问题中，取K个邻居的平均值或加权平均值

KNN的优缺点

1. 简单容易实现

2. 不需要训练

1. 计算和内存开销大

2. 高维空间效果会差

Q&A和注意事项

1. 如何高效匹配查询
• 构建数据索引: k-d树和R树
• k-d树：一种二叉树，用于将k维空间划分成k个维度的超矩形区域，从而使得在多维空间中的查询和插入操作更加高效
• R树：是一种平衡树，类似于B树，一种用于多维空间中进行空间数据索引的树形数据结构，主要用于加速空间查询操作，如范围查询和最近邻查询。

2. 在k-means或kNN，我们是用欧氏距离来计算最近的邻居之间的距离。为什么不用曼哈顿距离？
• 曼哈顿距离只计算水平或垂直距离，有维度的限制。另一方面，欧氏距离可用于任何空间的距离计算问题
• 欧式距离：两点之间的最短距离;
• 曼哈顿距离：投影到坐标轴的长度之和;又称为出租车距离.
• 切比雪夫距离：各坐标数值差的最大值

集成学习

Boosting

步骤

1. 初始化：权重相同

2. 训练弱学习器：当前加权训练，错误的样本将得到更高的权重，使下一次学习更关注错误分类样本

3. 更新权重

4. 训练

5. 加权

常见的Boosting算法

1. AdaBoost:
• 在每一轮迭代中，根据前一轮的错误率调整训练样本的权重
• 每个弱学习器的权重与其错误率有关，错误率越低，权重越高

2. Gradient Boosting (GBDT梯度提升树)
• 通过优化损失函数来训练模型
• 在每一轮迭代中，训练一个新的弱学习器来拟合当前模型的残差(实际值-预测值）
• 通过逐步减小残差，提升模型的整体性能
• 典型的实现包括 XGBoost、LightGBM 和 CatBoost
• GBDT使用基学习器是CART树，CART树是二叉树，每次使用yes or no进行特征选择，数值连续特征使用的最小均方误差，离散值使用的gini指数。

3. XGBoost
• 训练的时候采用前向分布算法进行贪婪的学习
• XGBoost对GBDT进行了一系列优化，比如损失函数进行了二阶泰勒展开、目标函数加入正则项、支持并行和默认缺失值处理等，在可扩展性和训练速度上有了巨大的提升，但其核心思想没有大的变化

Boosting优缺点

1. 高精度

2. 降低bias和variance

3. 对不平衡数据表现良好

4. Robust

5. 适合分类和回归

1. 训练开销大

2. 容易过拟合

3. 难以并行化

4. 解释性差

Q&A和注意事项

1. 梯度提升Vs梯度下降：
• 梯度提升：“提升”是指通过减少残差来提升模型性能
• 梯度下降：”下降”是指减少损失函数到最小值进行拟合

2. GBDT对标量特征要不要one-hot编码？
• 效果上one-hot和category特征等价，可以直接输入

3. 为什么GBDT用负梯度当做残差？
• 负梯度则指向损失函数减少最快的方向

4. XGBoost可以并行训练的原因？
• XGBoost的并行，并不是说每棵树可以并行训练，XGB本质上仍然采用boosting思想，每棵树训练前需要等前面的树训练完成才能开始训练
• XGBoost的并行，指的是特征维度的并行：在训练之前，每个特征按特征值对样本进行预排序，并存储为Block结构，在后面查找特征分割点时可以重复使用，而且特征已经被存储为一个个block结构，那么在寻找每个特征的最佳分割点时，可以利用多线程对每个block并行计算

5. 如何处理缺失值？
• 分裂点的选择
• 忽略缺失值
• XGBoost 和 LightGBM会在找到最优分裂点后，为缺失值单独设置一个处理策略。它们会根据增益计算，将缺失值样本分配到某个子节点，使得整体增益最大化
• 缺失值填补
• 学习缺失值模式(XGBoost，LightGBM)

Bagging

步骤

1. 数据采样：
1. 从原始训练数据集中，通过有放回抽样的方法随机采样生成多个子数据集。每个子数据集的大小通常与原始数据集相同
2. 由于是有放回抽样，某些样本可能在同一个子数据集中出现多次，而某些样本可能没有被抽到

2. 训练：每个子数据集上训练一个基模型。都是相同类型，彼此独立训练

3. 集成：分类或者回归
1. 对于分类问题:由投票表决产生分类结果
2. 对于回归问题: 由k个模型预测结果的均值作为最后预测结果

随机森林

• 随机选择样本（放回抽样）

• 随机选择特征

• 构建决策树

• 随机森林投票（平均）

随机森林的优缺点

• 降低方差，提升泛化

• 减少过拟合

• 容易并行（单独子数据集上训练）

• 不能降低偏差

• 计算开销大

Q&A和注意事项

1. 随机森林的随机性指的是？
• 样本随机放回随机采样

2. 为什么随机抽样？
• 保证分类器多样性

3. 为什么要放回？
• 减少每个决策树差异性过大

4. 需要剪枝吗？
• 不需要。随机性已经避免了过拟合

Bagging vs Boosting

无监督学习

聚类 - K-means

步骤

1. 初始化k个簇中心坐标

2. 计算所有点到中心的距离，并划分簇

3. 更新中心坐标平均值

4. 重复直到收敛

如何选取k值

• 经验先定

• 绘制k和损失函数图像确定拐点

常用距离度量

• 欧几里得

• 余弦相似性

降维

PCA主成分分析

步骤

1. 去平均值：每个特征减去平均值

2. 计算协方差矩阵：协方差描述了两个变量一起变化的趋势，是衡量两个变量之间关系的统计量

3. SVD替代协方差的特征值计算

4. 选择主成分：将特征值排序，选择k个特征

5. 投影到新的空间

协方差计算

• 正协方差：表示 呈正相关

• 负协方差：表示 呈负相关

• 零协方差：不存在线性关系

SVD奇异值分解计算

LDA线性判别式分析

Q&A和注意事项

1. 为什么要用SVD?
内存少，结果和PCA一样

2. PCA vs SVD

1. 降维的作用
1. 缓解维度灾难
2. 压缩数据同时损失最小
3. 方便理解

概率模型 - 朴素贝叶斯

贝叶斯定理

• P(A | B) 是在事件 B 发生的条件下，事件 A 发生的概率，称为后验概率posterior probability

• P(B | A)是在事件A发生的条件下，事件 B发生的概率，称为似然度（likelihood）。

• P(A)和 P(B)分别是事件A和事件 B的先验概率（prior probability），即在考虑任何观测数据之前，对事件的初始概率估计

朴素贝叶斯的优缺点

1. 稳定，适合小规模数据

2. 对缺失数据不敏感

3. 适合增量训练

1. 独立假设往往不成立

2. 属性多效果差

朴素贝叶斯 vs LR

Q&A和注意事项

1. 为什么朴素贝叶斯如此“朴素”？
引入条件独立假设

2. 概率为0怎么办
引入λ，λ=1为拉普拉斯平滑

验证方式

交叉验证

作用

方法

1. 留出法:简单地将原始数据集划分为训练集,验证集,测试集三个部分

2. k折交叉验证:(一般取5折交叉验证或者10折交叉验证)

3. 留一法: (只留一个样本作为数据的测试集,其余作为训练集)---只适用于较少的数据集

K折交叉验证

特征工程

特征选择

过滤法Filter

1. 相关系数

2. 卡方检验

3. 信息增益、互信息

包装法Wrapper

1. 穷举或者启发式搜索来组合子集

2. 评估性能(交叉验证)

3. 选择最佳特征子集

嵌入法Embedded

1. 正则化

2. 决策树

3. 深度学习

特征提取

特征选择 vs 特征提取

FM因子分解机

分类评估

常用评估 - Accuracy, Precision, Recall, F1-score

Accuracy

Precision

Recall

F1-score

区别

• 准确率反映了模型整体的预测准确性，但在样本不均衡的情况下可能不是一个完全可靠的指标

• 精确率适用于需要确保预测为正类的样本都是正确的场景

• 召回率适用于需要尽量少漏掉正类的场景

ROC和AUC

ROC曲线

AUC

• AUC = 1，表示模型完美地区分了正负样本，无论阈值如何，都能将所有的正样本排在所有的负样本前面

• AUC = 0.5，表示模型的预测和随机猜测一样，即没有区分能力

• AUC < 0.5，表示模型性能比随机猜测还差，即预测结果反向

机器学习

过拟合

1. 数据有噪声

2. 数据不足

3. 训练过度

1. Dropout

2. 数据增强：旋转平移缩放

3. 正则化：L1和L2

4. 交叉验证

5. 集成学习：Boosting

欠拟合

1. 模型复杂度低

2. 数据问题，拟合度不高

1. 增加样本数量

2. 增加特征数量

3. 特征扩展

4. 减少正则化参数

5. Bagging

如何解决数据不平衡

1. 改变评价标准：AUC/ROC

2. 采用Bagging/Boosting

3. 特殊加权

4. 采样

有噪声如何处理？

如何理解方差和偏差？

方差Variance

• 方差指的是模型对训练数据的敏感程度

• 高方差通常意味着模型对训练数据中的噪声也进行了学习(过拟合)，导致在测试数据上的性能下降

偏差Bias

• 模型预测值与真实值之间的差距

• 高偏差说明模型过于简单(欠拟合)，效果不佳

完整机器学习项目流程

1. 导入数据

2. 理解数据：可视化，统计

3. 数据准备
1. 数据清洗
2. 特征选择
3. 数据转换

4. 评估算法
1. 分离数据
2. 定义模型

5. 优化模型
1. 算法调参

6. 预测和部署

协方差和相关性的区别

Normalization VS Standardization

• 归一化的目的是将数据转换为特定范围内，通常是 0 到 1 或 -1 到 1 之间。归一化用于将具有不同尺度和范围的特征缩放到相同的范围内，以确保它们对模型的影响是相对均衡的。

• 标准化的目的是将数据转换为具有特定属性的标准分布，通常是零均值和单位方差。标准化用于确保数据的均值为零，标准差为一，从而使数据更稳定、可比较，并且有助于某些算法的收敛和性能。