SVM 是什么
支持向量机是一种基于统计学习理论的监督学习算法,用于解决分类问题。
原生 SVM 只能处理双分类问题,可以通过构建多个 SVM 来实现多分类问题。
支持向量机的优化问题可以表达为,$$\min_{W,b}{\dfrac{1}{2}\left\lVert w \right\rVert} \ s.t.\quad y_i(w^T\rm{x}+b) \geq1$$
软间隔和硬间隔
在现实世界的数据中,往往存在一些噪声或者数据点无法被一个完美的线性超平面完全分隔。
这时就需要引入软间隔支持向量机。它允许一些数据点位于分类超平面的错误一侧或者在间隔内。
为了处理这种情况,引入了松弛变量 ,它表示第 个数据点违反约束的程度。