间隔与支持向量



w为法向量,决定的是超平面的方向。b是偏移项,决定了超平面与原点之间的距离。

为什么最大化间隔,得到的就是最优平面呢?

  • 当超平面没有正确划分正负样本时,几何间隔为负数。
  • 几何间隔,各个点中最小的,当正确划分时,越靠近正中间,几何间隔越大。

求解分类支持向量机

凸优化

拉格朗日对偶



KKT条件

求解




SMO


唯一不确定的地方:

核函数






软间隔与正则化

在现实任务中,很难确定合适的核函数使得训练样本在特征空间中线性可分,即使找到了也很难断定这个结果是不是过拟合造成的。
如何缓解” />


支持向量回归