逻辑回归

逻辑回归与线性回归都是线性模型，其中线性回归使用线性式来预测数值，逻辑回归使用线性式来进行分类任务。
逻辑回归就是使用1条线（在特征向量为1维或2维的情况） 或 1个超平面（特征数量超过2维的情况） 来对数据进行划分，根据特征向量落在线或超平面的2侧来对其进行划分，因此，逻辑回归是用来处理二分类问题的。

逻辑回归可以通过组合多个逻辑回归来进行多分类任务。

逻辑回归的流程

逻辑回归使用线性式和Sigmoid的函数来得到结果。逻辑回归的输入为$N$维特征向量，将$N$维特征向量带入线性式，得到输出公式如下，将结果带入Sigmoid函数。
$$\begin{array}{rl}f(x)& =w_0+w_1\ast x_1+...+w_n\ast x_n\\ & =\sum _{i=0}^n{w}_i\ast x_i\\ & ={\mathbf{w}}^T\mathbf{x}\\ p& =sigmoid(f(x))\end{array}$$
$(3)$式是使用线性代数的方法表示$(1)$以及$(2)$式。

Sigmoid函数

Sigmoid函数在机器学习和深度学习中通常被简写为$\sigma$，Sigmoid函数接接收$(-\infty ,\infty )$的数值，并将其映射到$(0,1)$范围之内，因此可以具有概率的意义。

Sigmoid函数的公式及图像

Sigmoid函数的公式如下：
$$\sigma (x)=\frac{1}{1+exp(-x)}$$
其中$exp(x)$函数为自然对数的$x$次幂。

Sigmoid函数的图像如下：

Sigmoid函数单调递增，在自变量$x=0$附近斜率变化较大，函数值增长较快，而在远离$x=0$处，函数值变化较慢。在$x=0$处，Sigmoid函数值为$\frac{1}{1+exp(0)}=0.5$。

在进行预测时，Sigmoid函数计算之后，函数大于$0.5$，则特征向量属于目标类别，否则特征向量不属于目标类别。
$$\begin{array}{c}\{\begin{array}{l}\hat{y}=1ifp>=0.5\\ \hat{y}=0ifp<0.5\end{array}\end{array}$$

逻辑回归的损失函数与最优化求解

在回归问题中，我们通常使用MSE，RMSE以及MAE损失，这些损失函数使用不同的方式计算计算预测值与真实值的距离，如明氏距离，曼哈顿距离以及欧式距离，不同损失函数使用不同的加权方式从而得到损失值。

在分类问题中，样本的真实值是离散的标签（如A类，B类等），线性式的结果经过Sigmoid函数变换之后，再经过MSE求损失并无更大的意义，因为MES衡量的是欧式空间中的距离，而逻辑回归经过Sigmoid处理后的数据可以理解为概率，两者并不对应。

在分类问题中，通常使用交叉熵损失，因为交叉熵模型的本质决定其可以用来衡量概率模型的差别。

逻辑回归适用于二分类问题。对于二分类问题，可以使用二元交叉熵损失（Binary Cross Entropy Loss）。逻辑回归问题模型求解，即求解使得对样本集合的总体损失最小的模型参数，使用公式表述如下：
$$\underset{w_0...w_n}{\mathrm{argmin}}\frac{1}{m}\sum _{i=1}^{m}BCELoss(y_i,\widehat{y_i})$$
其中二元交叉熵损失的公式如下：
$$BCELoss(y,\hat{y})=-(y\ast \log \hat{y}+(1-y)\ast \log (1-\hat{y}))$$
将二元交叉熵公式代入，即得：
$$\underset{w_0...w_n}{\mathrm{argmin}}\frac{1}{m}\sum _{i=1}^m-(y_i\ast \log \widehat{y_i}+(1-y_i)\ast \log (1-\widehat{y_i}))$$
其中$m$是样本数量，$y_i$是第$i$个样本的真实值（真或假），$\widehat{y_i}$是第$i$个样本的预测值，为经过Sigmoid函数求解后获得的$(0,1)$之间的数值，意为概率。

逻辑回归使用梯度下降法求解

由于逻辑回归模型使用了非线性的Sigmoid函数，因此逻辑回归模型并没有解析解，需要使用梯度下降法求解。