逻辑回归的损失函数（或称为代价函数）是用于衡量模型预测结果和真实结果之间差距的一个函数。它通常采用对数似然损失函数（Log-Loss），也称为交叉熵损失函数（Cross-Entropy Loss）。我们通过最大化似然函数来推导它，并将其转化为最小化损失函数的形式。

1. 逻辑回归的目标

逻辑回归是一种用于二分类任务的线性模型，它的目标是估计给定输入特征 $x$ 属于类 1 的概率 $P(y=1|x)$。

给定一个输入$x$，逻辑回归模型的输出是一个概率值，表示属于类 1 的概率：

$h_{\theta }(\mathbf{x})=P(y=1|\mathbf{x})=\frac{1}{1+e^{-{\theta }^T\mathbf{x}}}$

其中，$\theta$ 是模型的参数向量，${\theta }^T\mathbf{x}$ 是输入特征的线性组合。

2. 似然函数

在逻辑回归中，我们希望通过最大化似然函数来找到最优参数 $\theta$。对于一组训练数据 $\{({\mathbf{x}}_i,y_i)\}$，每个样本 ${\mathbf{x}}_i$ 对应的真实标签 $y_i$ 是 0 或 1。

假设所有样本是独立同分布的，整个数据集的似然函数可以表示为：

$L(\theta )={\prod }_{i=1}^{m}P(y_i|{\mathbf{x}}_i;\theta )$

根据$y_i$ 的取值（0 或 1），我们可以写成：

$L(\theta )={\prod }_{i=1}^m{h}_{\theta }({\mathbf{x}}_i{)}^{y_i}(1-h_{\theta }({\mathbf{x}}_i){)}^{1-y_i}$

这个公式表示，当 $y_i=1$ 时，选择 $h_{\theta }({\mathbf{x}}_i)$，而当 $y_i=0$ 时，选择 $1-h_{\theta }({\mathbf{x}}_i)$。

3. 对数似然函数

由于似然函数是多个概率的连乘，直接求解比较困难。为简化计算，我们取对数（因为对数函数是单调递增的，最大化对数似然等价于最大化似然函数本身）：

$\ell (\theta )=\log L(\theta )={\sum }_{i=1}^m\left[y_i\log h_{\theta }({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\theta }({\mathbf{x}}_i))\right]$

这就是对数似然函数。我们的目标是最大化它，即： ${\max }_{\theta }\ell (\theta )$
为了方便，我们可以将最大化对数似然函数转化为最小化它的负对数似然函数，这样问题就转化为一个最小化问题：

$J(\theta )=-\ell (\theta )=-{\sum }_{i=1}^m\left[y_i\log h_{\theta }({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\theta }({\mathbf{x}}_i))\right]$

这个 $J(\theta )$ 就是逻辑回归的损失函数。

4. 我们来详细推导：

$\ell (\theta )=\log L(\theta )={\sum }_{i=1}^m\left[y_i\log h_{\theta }({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\theta }({\mathbf{x}}_i))\right]$

1. 取对数

由于似然函数是多个概率的连乘形式，直接优化这种乘法形式的函数在计算上比较复杂。我们可以通过对数变换将乘法转换为加法，使得优化问题更容易处理。具体来说，对似然函数 ( L(\theta) ) 取对数，得到对数似然函数（log-likelihood function）：

$\ell (\theta )=\log L(\theta )$

将似然函数代入，取对数：

$\ell (\theta )=\log \left({\prod }_{i=1}^m{h}_{\theta }({\mathbf{x}}_i{)}^{y_i}\cdot (1-h_{\theta }({\mathbf{x}}_i){)}^{1-y_i}\right)$

利用对数的乘法性质：$\log (a\cdot b)=\log a+\log b$，可以将乘法转换为加法：

$\ell (\theta )={\sum }_{i=1}^m\log \left(h_{\theta }({\mathbf{x}}_i{)}^{y_i}\cdot (1-h_{\theta }({\mathbf{x}}_i){)}^{1-y_i}\right)$

接下来，利用对数的幂法则：$\log (a^b)=b\log a$，我们进一步分解每一项：

$\ell (\theta )={\sum }_{i=1}^m\left[y_i\log h_{\theta }({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\theta }({\mathbf{x}}_i))\right]$

这就是对数似然函数的完整形式。

5. 损失函数

我们最终得到的对数似然函数是一个用于衡量模型表现的函数。为了最小化损失，我们通常最大化对数似然函数（最大似然估计）。但更常见的做法是取负号，将最大化问题转化为最小化问题：

$J(\theta )=-\ell (\theta )=-{\sum }_{i=1}^m\left[y_i\log h_{\theta }({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\theta }({\mathbf{x}}_i))\right]$

这个 $J(\theta )$ 就是逻辑回归的损失函数。通过最小化它，我们可以找到最优的参数 $\theta$，使模型的预测最接近真实标签。

6. 梯度下降算法

最小化逻辑回归的损失函数 ( J(\theta) ) 的过程通常通过 梯度下降算法 或其变种来完成。以下是具体步骤和方法。

1. 梯度下降算法

梯度下降是一种用于优化目标函数的迭代算法。其基本思想是：通过不断更新参数，使得损失函数逐渐减小，最终找到损失函数的最小值。在逻辑回归中，我们的目标是最小化损失函数 ( J(\theta) )。

梯度下降的更新公式如下：

${\theta }_j:={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}$

其中：

• ${\theta }_j$ 是逻辑回归模型的参数（特征对应的权重）， j ∈ { 0 , 1 , … , n } j \in \{0, 1, \dots, n\} j∈{0,1,…,n}；
• $\alpha$ 是学习率（决定每次更新的步长）；
• $\frac{\partial J(\theta )}{\partial {\theta }_j}$ 是损失函数 $J(\theta )$对参数 ${\theta }_j$ 的偏导数。

2. 损失函数的梯度推导

为了使用梯度下降，我们首先需要计算损失函数 ( J(\theta) ) 对每个参数 ( \theta_j ) 的偏导数。损失函数的形式为：

$J(\theta )=-\frac{1}{m}{\sum }_{i=1}^m\left[y_i\log h_{\theta }({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\theta }({\mathbf{x}}_i))\right]$

其中，$h_{\theta }({\mathbf{x}}_i)=\frac{1}{1+e^{-{\theta }^T{\mathbf{x}}_i}}$ 是逻辑回归模型的输出，即第 $i$ 个样本属于类别 1 的概率。

为了方便计算，我们对 $J(\theta )$ 的偏导数进行推导。

好的，我们详细讲解通过 链式法则 来推导逻辑回归损失函数的偏导数，进而得到梯度的过程。

2.1 通过链式法则推导偏导数

为了推导损失函数 $J(\theta )$ 对参数 ${\theta }_j$ 的偏导数，我们使用 链式法则。这里，我们将逐步推导出偏导数公式。

2.1.1 损失函数对 ${\theta }_j$ 的偏导数

首先，我们需要对损失函数$J(\theta )$ 对 ${\theta }_j$ 求偏导。对第 $i$ 个样本 $({\mathbf{x}}_i,y_i)$ 的损失函数项：

$J_i(\theta )=-\left[y_i\log h_{\theta }({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\theta }({\mathbf{x}}_i))\right]$

求其关于 ${\theta }_j$ 的偏导数：

$\frac{\partial J_i(\theta )}{\partial {\theta }_j}$

为了简化推导，我们先对两个部分分别求导。

2.1.2 对 $\log h_{\theta }({\mathbf{x}}_i)$ 的偏导

我们首先对 $\log h_{\theta }({\mathbf{x}}_i)$ 的部分求导：

$\frac{\partial }{\partial {\theta }_j}\left(\log h_{\theta }({\mathbf{x}}_i)\right)$

根据链式法则，我们知道：

$\frac{\partial }{\partial {\theta }_j}\log h_{\theta }({\mathbf{x}}_i)=\frac{1}{h_{\theta }({\mathbf{x}}_i)}\cdot \frac{\partial h_{\theta }({\mathbf{x}}_i)}{\partial {\theta }_j}$

接下来，我们需要计算 $h_{\theta }({\mathbf{x}}_i)$ 对 ${\theta }_j$的导数。由于 $h_{\theta }({\mathbf{x}}_i)$ 是 sigmoid 函数，即：

$h_{\theta }({\mathbf{x}}_i)=\frac{1}{1+e^{-{\theta }^T{\mathbf{x}}_i}}$

使用链式法则对 ${\theta }_j$ 求导，首先对内层的 ${\theta }^T{\mathbf{x}}_i={\sum }_{k=0}^n{\theta }_k{x}_{ik}$ 求导，结果是：

$\frac{\partial }{\partial {\theta }_j}\left({\theta }^T{\mathbf{x}}_i\right)=x_{ij}$

接下来，sigmoid 函数的导数是：

$\frac{\partial h_{\theta }({\mathbf{x}}_i)}{\partial z}=h_{\theta }({\mathbf{x}}_i)(1-h_{\theta }({\mathbf{x}}_i))$

其中，$z={\theta }^T{\mathbf{x}}_i$。

因此：

$\frac{\partial h_{\theta }({\mathbf{x}}_i)}{\partial {\theta }_j}=h_{\theta }({\mathbf{x}}_i)(1-h_{\theta }({\mathbf{x}}_i))x_{ij}$

现在我们可以将它代入先前的结果中：

$\frac{\partial }{\partial {\theta }_j}\left(\log h_{\theta }({\mathbf{x}}_i)\right)=\frac{1}{h_{\theta }({\mathbf{x}}_i)}\cdot h_{\theta }({\mathbf{x}}_i)(1-h_{\theta }({\mathbf{x}}_i))x_{ij}$

简化为：

$\frac{\partial }{\partial {\theta }_j}\left(\log h_{\theta }({\mathbf{x}}_i)\right)=(1-h_{\theta }({\mathbf{x}}_i))x_{ij}$

2.1.3 对 $\log (1-h_{\theta }({\mathbf{x}}_i))$ 的偏导

接下来，我们对$\log (1-h_{\theta }({\mathbf{x}}_i))$ 求偏导：

$\frac{\partial }{\partial {\theta }_j}\log (1-h_{\theta }({\mathbf{x}}_i))$

同样应用链式法则：

$\frac{\partial }{\partial {\theta }_j}\log (1-h_{\theta }({\mathbf{x}}_i))=\frac{1}{1-h_{\theta }({\mathbf{x}}_i)}\cdot \frac{\partial (1-h_{\theta }({\mathbf{x}}_i))}{\partial {\theta }_j}$

对 $1-h_{\theta }({\mathbf{x}}_i)$ 求导：

$\frac{\partial (1-h_{\theta }({\mathbf{x}}_i))}{\partial {\theta }_j}=-h_{\theta }({\mathbf{x}}_i)(1-h_{\theta }({\mathbf{x}}_i))x_{ij}$

因此：

$\frac{\partial }{\partial {\theta }_j}\log (1-h_{\theta }({\mathbf{x}}_i))=-\frac{h_{\theta }({\mathbf{x}}_i)}{1-h_{\theta }({\mathbf{x}}_i)}\cdot (1-h_{\theta }({\mathbf{x}}_i))x_{ij}$

简化为：

$\frac{\partial }{\partial {\theta }_j}\log (1-h_{\theta }({\mathbf{x}}_i))=-h_{\theta }({\mathbf{x}}_i)x_{ij}$

2.1.4 组合偏导数

现在我们可以将偏导数组合在一起，得到损失函数对 ( \theta_j ) 的总偏导数：

$\frac{\partial J_i(\theta )}{\partial {\theta }_j}=-\left[y_i\cdot (1-h_{\theta }({\mathbf{x}}_i))x_{ij}+(1-y_i)\cdot (-h_{\theta }({\mathbf{x}}_i)x_{ij})\right]$

简化为：

$\frac{\partial J_i(\theta )}{\partial {\theta }_j}=(h_{\theta }({\mathbf{x}}_i)-y_i)x_{ij}$

2.1.5 总损失函数的梯度

将所有样本的偏导数相加得到总损失函数 $J(\theta )$ 对 ${\theta }_j$ 的偏导数：

$\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }({\mathbf{x}}_i)-y_i)x_{ij}$

7. 梯度更新公式

现在我们有了损失函数的梯度，可以使用梯度下降法更新参数${\theta }_j$：

${\theta }_j:={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}$

即：

${\theta }_j:={\theta }_j-\alpha \cdot \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }({\mathbf{x}}_i)-y_i)x_{ij}$

通过不断迭代更新参数，损失函数逐渐减小，最终找到参数 $\theta$ 的最优解。

-----以上推导来自gpt4-o模型问答