SVM原理(1)

如题所述

第1个回答  2022-07-09

训练集 => 提取特征向量 => 结合一定的算法(分类器:比如决策树,KNN)=>得到结果

3.1例子:

图中哪条线对于区分两类小球好呢?
3.2 SVM寻找区分两类的超平面(hyper plane), 使边际(margin)最大

总共可以有多少个可能的超平面?无数条

如何选取使边际(margin)最大的超平面 (Max Margin Hyperplane)?

超平面到一侧最近点的距离等于到另一侧最近点的距离,两侧的两个超平面平行

3.3. 线性可区分(linear separable) 和 线性不可区分 (linear inseparable)

有两类,分别是线性可区分和线性不可区分,我们先讲线性可区分

超平面可定义为:

w : weight vector

X 是训练实例
b :bias

4.1 假设2维特征向量:X = (x1, X2)

把 b 想象为额外的 wight

超平面方程变为:

所有超平面右上方的点满足:

所有超平面左下方的点满足:

调整weight,使超平面定义边际的两边:

综合以上两个式子得到:

决定决策边界的数据叫做支持向量,它决定了margin到底是多少
分界的超平面和H1或H2上任意一点的距离为 :

(i.e.: 其中||W||是向量的范数(norm))

所以,最大边际距离为:

5.1 SVM如何找出最大边际的超平面呢(MMH)?
利用一些数学推倒,以上公式 (1)可变为有限制的凸优化问题(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)条件和拉格朗日公式,可以推出MMH可以被表示为以下“决定边界 (decision boundary)”

其中,
yi是支持向量点xi的类别标记
X^T是要测试的实例

具体的公式推导,可以自己在纸上推到试试。

相似回答