引入

  SVM解决了分类问题，而用类似方法解决回归问题的模型称为支持向量回归。目标是得到一个模型，使输出的$f(\vec{x})$与$y$尽可能接近。

  传统的回归模型直接计算$f(\vec{x})$与$y$的差距作为损失，当两者完全相等时损失为0；而SVR加入了支持向量，使得模型能够容忍$\epsilon$的偏差，即在距离$f(x)$不超过$\epsilon$的样本被认为预测正确，损失为0。

建立数学模型

  根据上述，类似SVM，我们可以写出SVR的损失函数和问题转化：

$mi{n}_{\vec{w},b}\frac{1}{2}||\vec{w}|{|}^2+C{\sum }_{i=1}^m{\ell }_{\epsilon }(f({\vec{x}}_i)-y_i)$
其中 ${\ell }_{\epsilon }(z)=\{\begin{array}{l}0,if|z|\ge \epsilon ;\\ |z|-\epsilon ,otherwise.\end{array}$称为$\epsilon -$不敏感损失函数（$\epsilon$-insensitive loss）

  接下来就是经典的拉格朗日法处理二次规划问题。引入松弛变量${\xi }_i$和${\hat{\xi }}_i$：

$mi{n}_{\vec{w},b}\frac{1}{2}||\vec{w}|{|}^2+C{\sum }_{i=1}^m({\xi }_i+{\hat{\xi }}_i)$
$s.t.\{\begin{array}{l}f({\vec{x}}_i)-y_i\le \epsilon +{\xi }_i;\\ y_i-f({\vec{x}}_i)\le \epsilon +{\xi }_i;\\ {\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,...,m.\end{array}$

  这里使用双松弛变量，可以更好地处理边界误差，因为误差不一定是对称的。
  接下来引入拉格朗日乘子得到拉格朗日函数：

${\mu }_i\ge 0,{\hat{\mu }}_i\ge 0,{\alpha }_i\ge 0,{\hat{\alpha }}_i\ge 0$
$L(\vec{w},b,\alpha ,\hat{\alpha },\xi ,\hat{\xi },\mu ,\hat{\mu })$
$=\frac{1}{2}||\vec{w}|{|}^2+C{\sum }_{i=1}^m({\xi }_i+{\hat{\xi }}_i)-{\sum }_{i=1}^m{\mu }_i{\xi }_i-{\sum }_{i=1}^m{\hat{\mu }}_i{\hat{\xi }}_i$
$+{\sum }_{i=1}^m{\alpha }_i(f({\vec{x}}_i)-y_i-\epsilon -{\xi }_i)+{\sum }_{i=1}^m{\alpha }_i(y_i-f({\vec{x}}_i)-\epsilon -{\hat{\xi }}_i)$

  令$L$对$\vec{w},b,{\xi }_i,{\hat{\xi }}_i$偏导为0得：

$\vec{w}={\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i){\vec{x}}_i$
$0={\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)$
$C={\alpha }_i+{\mu }_i={\hat{\alpha }}_i+{\hat{\mu }}_i$

  代回得到对偶问题：

$ma{x}_{\alpha ,\hat{\alpha }}{\sum }_{i=1}^m{y}_i({\hat{\alpha }}_i-{\alpha }_i)-\epsilon ({\hat{\alpha }}_i+{\alpha }_i)$
$-\frac{1}{2}{\sum }_{i=1}m{\sum }_{j=1}^m({\hat{\alpha }}_i-{\alpha }_i)({\hat{\alpha }}_j-{\alpha }_j){\vec{x}}_i^T{\vec{x}}_j$
$s.t.{\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)=0,$
$0\le {\alpha }_i,{\hat{\alpha }}_i\le C.$
 
KKT条件：
$\{\begin{array}{l}{\alpha }_i(f({\vec{x}}_i)-y_i-\epsilon -{\xi }_i)=0,\\ {\hat{\alpha }}_i(y_i-f({\vec{x}}_i)-\epsilon -{\hat{\xi }}_i)=0,\\ {\alpha }_i{\hat{\alpha }}_i=0,\\ {\xi }_i{\hat{\xi }}_i=0,\\ (C-{\alpha }_i){\xi }_i=0,\\ (C-{\hat{\alpha }}_i){\hat{\xi }}_i=0.\end{array}$

  有${\alpha }_i$与$f({\vec{x}}_i)-y_i-\epsilon -{\xi }_i$不能同时非零；${\hat{\alpha }}_i$和$y_i-f({\vec{x}}_i)-\epsilon -{\hat{\xi }}_i$不能同时非零。

  而$f({\vec{x}}_i)-y_i-\epsilon -{\xi }_i$与$y_i-f({\vec{x}}_i)-\epsilon -{\hat{\xi }}_i$不可能同时为0（支持向量的意义）。所以${\alpha }_i$和${\hat{\alpha }}_i$至少有一个为$0$。

  代回后解得：

$f(x)={\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i){\vec{x}}_i^T\vec{x}+b$

  其中，一定存在$i$，使得$0<{\alpha }_i<C$从而使${\xi }_i=0$，进而推出$b$：

$b=y_i+\epsilon -{\sum }_{j=1}^m({\hat{\alpha }}_j-{\alpha }_j){\vec{x}}_j^T{\vec{x}}_i$

  加上特征映射与核函数，有：

$f(x)={\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)\kappa ({\vec{x}}_i,\vec{x})+b$