一. 什么是SVM
1. 简介
SVM，曾经是一个特别火爆的概念。它的中文名：支持向量机（Support Vector Machine, 简称SVM）。因为它红极一时，所以关于它的资料特别多，而且杂乱。虽然如此，只要把握住SVM的一些特点，至少可以做到思路清晰。
（1）首先，SVM是按照监督类学习方式进行运作的。即：数据当中含有目标值。
（2）SVM采用监督学习方式，对数据进行二分类（这点跟逻辑回归一样）。但是，SVM和逻辑回归(LR)有有很多不同点。我们先看看相同点：
- 二者都是线性分类器
- 二者都是监督学习算法
- 都属于判别模型（KNN, SVM, LR都属于判别模型），所谓判别模型就是指：通过决策函数，判别各个样本之间的差别来进行分类。
不同点就很多了，现在先列举一些，LR之前已经介绍过，关于SVM的具体理论先放到后面
-
二者的损失函数和目标函数不一样。
-
二者对数据和参数的敏感度不同。SVM由于采用了类似于“过度边界”的方式，泛化能力更好
SVM可以作线性分类器，但是在引入核函数（Kernel Method）之后，也可以进行非线性分类
2.SVM分类
SVM大体上可分为：
- 线性可分SVM：大体就是指一条线，把样本分成两份这种，我们会先从这个入手，这个相关理论懂了，后面的就会很简单
- 线性SVM
- 非线性SVM（需要核函数的支持）
二. 详细介绍
1. 线性可分SVM
1.1 支撑点，支撑向量
这个将作为重点来理解，这个相关理论知道了，那么，剩下的就很好理解，首先，我们先看一张图，然后我们根据这张图引出两个概念：支撑点，支撑向量。
图一
我们看看图上面的三条线，首先，这是个二维平面，因此分割线可以表示成线性函数的形式：
关于w，它其实是一个权值向量，它可以表示成如下的形式，至于说为什么能够这么表示，我们一会儿再说。
在上图中，两个虚线之间，我们可以当做一个“过度区域”，在虚线上面，有一个蓝色的点，和两个红色的点正好位于虚线上面。对于这3个样本，我们标号1，2，3。我们大可以让alpha1，alpha2, alpha3不为0，其他的点alpha都是0。为什么可以这么做呢？因为边界的划定，也就是虚线，只受这三个边界点的影响（即：影响w向量）我们在现实中直接调整这三个边界点的alpha值，就可以确定界限。那么这三个点，我们就可以称他们为：**支撑点 **
如果你确定了一个起始点，那么起始点到各个点之间可以组成向量，这个起始点到支撑点之间就可以组成一个个：支撑向量
1.2 分割超平面与间隔最大化
首先，我们得知道什么是超平面？一般来说，二维就可以组成一个平面，那么如果是多维的呢？一般把超过二维的，就叫做超平面。由于超平面本身超出了一般人的认知，所以我们在理解分割超平面的时候，还是以最简单的二维平面入手，然后进行扩展。
在了解了什么是超平面之后，我们看这样一个图：
在这幅图中，我们看到了如此多的分割线，这些分割线都成功的把黑点和白点给区分开了。即：都把类别给分对了。那么，哪条线才是最优的呢？（如何分割超平面，就是解决这个问题）
我们就直接在二维空间一个基本问题入手：点到直线的距离入手。
我们假设有这么一条线：
再给定一个点（x0, y0）那么这个点到直线的距离就是：
然后我们在此基础上直接把分子的绝对值给去掉，去掉之后，运算结果就会有正负之分了，通过正负，可以判断这个点在这条直线的哪一侧。然后各个项给拆开如下：
我们令各项系数分别记为：A’, B’ C’。然后整个公式就可以写成向量相乘的形式：
我们直接把（A’,B’)记为wi向量，将后面的(x0,y0)记为x向量 C’可以记为b，于是就得到了上述式子。
在这个例子当中，只是给了一个二维平面，实际情况下，有可能是多维的。此时w向量也是多维的，可以记为w = (w1,w2,w3……wn)，其中这里的w1, w2对应的就是上面式子当中的A, B。我们再回过头看点到直线距离公式，看看那个分母。大致就可以猜出来一件事情：在多维空间中一个点到一个线的距离是：
此时，我们再看看图一。注意，图一两条虚线线等号后面分别是+1，-1，为啥是这个呢？
假设我划分了一个线，那么显然，每一个点到这个线都会有一个距离，按照上面这个式子，求出来的距离是带有符号的，这个时候就体现出这个1，-1的价值。这个1，-1，也是y(i)值。如果，求出的是正的，那么乘以1，就是距离本身，如果d为负值，那么乘以-1，又转回正的，还是距离。这就是为什么真正的距离会写成
那么，我所有点，都跟这个直线求一个距离，最后取一个最小值。
我跟所有的直线，都做上面这个操作，就会得到若干个这样的最小值，然后我取最小值最大的那个直线，就是最优解。即：
对于这个方式，有一个很直观的名字：间隔最大化。
以上就是对分割超平面的一种直观的解释的一个解释。如果扩展到多维，即：超平面，很多时候，我们就不能用单纯一个x向量来解释了。其实，二维当中y与x是线性关系，也是一种映射关系。在多维平面当中，这种映射往往比较复杂，因此，扩展之后，我们会把间隔最大化的线写成如下形式：
其中，φ(x)是某个确定的特征空间转换函数,它的作用是将x映射到(更高的)维度。而在最简单的二维平面中φ(x)=x
由于在线性可分SVM是用来做分类问题，最基本的就是用来做二分类问题，所以，还要把上面这个式子映射到一个只有两个取值的函数当中，这就是线性可分SVM的决策函数：
1.3 线性可分SVM的目标函数以及相关算法
我们在图一当中，知道，虚线部分的y值取1，或者-1。但实际上，支撑点可不一定满足这个条件，类似的例子，可以举出无数个。因此，对于目标函数的构建，我们首先就要考虑一个问题：缩放。
根据题设，我们有一个间隔最大化的函数：
我们要让y(x)满足这个条件：
我们对w和b进行等比缩放，就得到了（回过头看看公式（一））：
于是，把这个与公式二结合起来看，我们就得到了目标函数：
缩放的理论知道了，我们下一步，就是想，怎么能让那个y值是1。对于分类来说，就是让各个类别的点，尽量远离过渡区域，也就是说，这些点离分割线的距离要大于或者等于1，这样才达到分类目的，如下图所示：那个margin大于1，分类才越准确。
用符号表示就是：
通过等比例缩放w的方法,使得两类点的函数值都满足| y |≥1
然后，我们把间隔函数代入：
（公式三）
那么，我们就可继续用拉格朗日乘数法进行求解，然后，就求出了alpha*
1.4 线性可分SVM的简单举例
2.线性SVM
2.1 为什么需要线性SVM
在实际运用当中，首先，即使数据是线性可分的。通过线性可分SVM得到的分离超平面也不一定就是最适合的。比如说下面这个图：
如果按照分割超平面理论，实线应该属于最优的。但是，虚线部分，过渡带比较宽，所以他的泛化能力更好，可以更大可能的避免过拟合。
其次，如果数据根本就不是线性可分（即：线性不可分）的呢？你根本无法通过一条线或面就分的很明白呢？这就是为什么，我们要考虑：线性支持SVM
所谓线性不可分，就是指：一个数据集不可以通过一个线性分类器（直线、平面）来实现分类。这样子的数据集在实际应用中是很常见的，例如：人脸图像、文本文档等。
