一、线性回归

需要通过训练集求解x,y之间的映射关系

1.线性回归

①模型

上添加一个b,可将模型中原有的b消除。

模型转换为:

X矩阵:其中每行为一个样本

Y向量:列向量,每一列为一个结果

以此公式求解w

推导

条件:不存在(特征之间存在共线性),可以采用以下两种方法求解

①SGD(随机数下降)②降维

结构风险被称为正则化项

!!!Attention矩阵微积分

2.多项式回归

①模型

③经验风险最小化

求解过程与线性回归类似

④选择合适的多项式次数

控制过拟合:正则化

惩罚大的系数正则化项

①似然函数

参数w固定时,描述随机变量x的分布情况,称p(x;w)为概率

已知随机变量x时,不同参数w对其分布的影响,称p(x;w)为似然

线性回归中的似然函数

②最大似然估计

求一组参数w,使

③贝叶斯学习

将参数w也视为随机变量;给定一组数据X,求参数w的分布p(w|X),也称后验分布

贝叶斯公式 后验 正比于 似然 X 先验

最大后验估计 正则化系数

平方误差经验风险最小化概率最大似然估计(XX^T)^{-1}Xy最大后验估计

②使用准则

赤池信息量准则、贝叶斯信息准则

③偏差-方差分解

平衡模型复杂度期望风险

期望风险

期望风险可以分解为:

与最优模型

偏差与方差进行模型选择

随着模型复杂度↑,方差↑,偏差↓

5.常用定理

①没有免费午餐定理

不存在某种算法对所有问题都有效

②丑小鸭定理

丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大(未给定具体条件的情况下)

③奥卡姆剃刀定理

若无必要,勿增实体

④归纳偏置

做出的假设称为归纳偏置,在贝叶斯学习中称为先验

⑤PAC学习

由大数定律,训练集趋于无穷大时,泛化误差趋近于0

​​​​​​​