损失函数分类

1. NLLLoss(负对数似然损失)

定义:

  • 直接对预测的概率 p(yi) 的负对数求平均。
  • 通常配合 Softmax 使用,输入为对数概率。
优点:
  • 对离散分类问题效果良好。
  • 更灵活,用户可以自行计算 Softmax。
缺点:
  • 需要输入已经经过 LogSoftmax 的对数概率。
  • 使用不便,现代任务中常被 CrossEntropyLoss 替代。
适用场景:
  • 分类问题,尤其是多分类问题。

2. CrossEntropyLoss

定义:

  • 内部集成了 SoftmaxNLLLoss 的计算。
优点:
  • 集成了 Softmax 和对数概率计算,使用简单方便。
  • 稳定性更高,避免了数值溢出问题。
缺点:
  • 不适用于多标签分类任务。
  • 输出需要为原始 logits。
适用场景:
  • 图像分类、文本分类等多分类任务。

3. BCELoss

定义:

  • 用于二分类任务,输入为概率值(通常在 [0, 1])。
优点:
  • 简单直观,适合二分类问题。
  • 适用于多标签分类(标签独立)。
缺点:
  • 输入必须经过 Sigmoid 函数,使用不如 BCEWithLogitsLoss 方便。
  • 数值稳定性较差,容易出现浮点溢出。
适用场景:
  • 二分类任务,如情感分析、垃圾邮件分类。
  • 多标签分类任务。

4. BCEWithLogitsLoss

定义:

  • 结合了 Sigmoid 和 BCELoss 的计算。
优点:
  • 自动处理 Sigmoid 和数值稳定性问题。
  • 更高效,推荐替代 BCELoss。
缺点:
  • 使用时需要注意输入为 logits,而非概率值。
适用场景:
  • 同 BCELoss,但推荐优先使用。

5. MSE(均方误差)

定义:

  • 衡量预测值和真实值之间的平方差。
优点:
  • 对小误差更敏感,优化平滑,易于收敛。
  • 实现简单,适用范围广。
缺点:
  • 对异常值非常敏感,可能导致模型过拟合异常值。
适用场景:
  • 连续值预测(如回归任务)。
  • 自监督任务(如自编码器)。

6. MAE(均绝对误差)

定义:

  • 衡量预测值和真实值之间的绝对差。
优点:
  • 对异常值更鲁棒,不会过分放大大的误差。
缺点:
  • 优化不平滑,梯度在零点不连续,可能导致收敛变慢。
适用场景:
  • 数据中可能存在异常值的回归任务。

7. SmoothL1Loss

定义:

  • 结合了 MSE 和 MAE 的优点。
优点:
  • 对小误差效果类似 MSE,收敛快;对大误差类似 MAE,鲁棒性好。
  • 平滑优化过程,适合复杂任务。
缺点:
  • 参数较多(如阈值),需要调试。
适用场景:
  • 目标检测中的回归(如边框偏移)。
  • 对异常值敏感但仍需要高精度的回归任务。

总结对比表格

损失函数定义适用任务优点缺点
NLLLoss负对数似然多分类任务灵活,自定义 Softmax需要 LogSoftmax,使用麻烦
CrossEntropyLoss集成 Softmax 和 NLLLoss多分类任务使用方便,数值稳定不支持多标签分类
BCELoss二分类交叉熵二分类、多标签分类简单直观需手动加 Sigmoid,数值易溢出
BCEWithLogitsLossBCELoss + Sigmoid二分类、多标签分类自动加 Sigmoid,数值稳定需输入 logits,无法直接输入概率
MSE均方误差连续值预测平滑优化,易收敛对异常值敏感
MAE均绝对误差连续值预测对异常值鲁棒优化不平滑,梯度零点不连续
SmoothL1LossMSE + MAE 结合回归、目标检测平滑优化,兼顾精度和鲁棒性参数较多,需调试

选择建议

  1. 分类任务:

    • 二分类:优先使用 BCEWithLogitsLoss
    • 多分类:使用 CrossEntropyLoss
    • 多标签分类:可使用 BCELossBCEWithLogitsLoss
  2. 回归任务:

    • 精确值预测:MSE
    • 数据有异常值:MAESmoothL1Loss
  3. 特殊场景:

    • 自定义 Softmax:使用 NLLLoss
    • 目标检测:SmoothL1Loss

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/479610.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue3 数字滚动插件vue3-count-to

安装 npm i vue3-count-to -S 引入 import { CountTo } from vue3-count-to 使用 <countTo :startVal"0" :endVal"57.63" :decimals"0" :duration"3000"></countTo> 所有配置

CodeTON Round 9 (Div. 1 + Div. 2, Rated, Prizes!)(前五道)

A. Shohag Loves Mod 翻译&#xff1a; Shohag 有一个整数 n。请帮他找出一个递增整数序列 &#xff0c;使得 在所有 的对上都满足。 可以证明&#xff0c;在给定的约束条件下&#xff0c;这样的序列总是存在的。 思路&#xff1a; 每个数为下标i*2-1&#xff08;注意这里下…

数据结构之二:表

顺序表代码&#xff1a;SData/SqList/SeqList.h Hera_Yc/bit_C_学习 - 码云 - 开源中国 链表相关代码&#xff1a;SData/ListLink/main.c Hera_Yc/bit_C_学习 - 码云 - 开源中国 leetcode相关代码leetcode/reverse_Link/main.c Hera_Yc/bit_C_学习 - 码云 - 开源中国 本文…

Adaboost集成学习 | Python实现基于NuSVR-Adaboost多输入单输出回归预测

目录 效果一览基本介绍程序设计参考资料效果一览 基本介绍 基于NuSVR-Adaboost多输入单输出回归预测python代码 NuSVR是一种支持向量回归(SVR)算法的变体,用于解决回归问题。SVR是一种监督学习方法,它用于预测连续目标变量,而不是分类标签。NuSVR在SVR的基础上引入了一个…

Vue.js --- 生命周期

1. 前言 在 Vue.js 中&#xff0c;生命周期是指一个 Vue 实例从创建到销毁的过程。Vue 提供了一系列的生命周期钩子&#xff08;lifecycle hooks&#xff09;&#xff0c;让开发者可以在不同的阶段执行特定的代码。了解这些生命周期钩子是构建 Vue 组件的基础&#xff0c;能够…

排序算法之选择排序篇

思想&#xff1a; 每次从未排序的部分找出最小的元素&#xff0c;将其放到已排序部分的末尾 从数据结构中找到最小值&#xff0c;放到第一位&#xff0c;放到最前面&#xff0c;之后再从剩下的元素中找出第二小的值放到第二位&#xff0c;以此类推。 实现思路&#xff1a; 遍…

hive的cascade使用解释

最近看到涉及到hive表字段新增&#xff0c;项目组其他人员让我add columns后加 cascade&#xff0c;这个我以前见到过&#xff0c;但是我一般没有用&#xff0c;也没出问题&#xff0c;那就研究下。 网上大多数的说法就是分区表加字段需要级联&#xff0c;原因是&#xff0c;你…

聊聊Flink:这次把Flink的触发器(Trigger)、移除器(Evictor)讲透

一、触发器(Trigger) Trigger 决定了一个窗口&#xff08;由 window assigner 定义&#xff09;何时可以被 window function 处理。 每个 WindowAssigner 都有一个默认的 Trigger。 如果默认 trigger 无法满足你的需要&#xff0c;你可以在 trigger(…) 调用中指定自定义的 tr…

docker部署nginx,并配置SSL证书

、拉取nginx镜像 docker pull nginx:latest 在此过程中会遇到网络的问题&#xff0c;导致镜像无法下载&#xff0c;这时候需要在服务器中配置下国内的镜像地址。下面包含近期最新的国内镜像&#xff0c;截至2024年11月27日&#xff1a; "https://<你的阿里云账号ID&…

OceanBase 大数据量导入(obloader)

现需要将源数据库&#xff08;Oracle|MySQL等&#xff09;一些表的海量数据迁移到目标数据库 OceanBase 中&#xff0c;基于常规 jdbc 驱动编码的方式涉及开发工作&#xff0c;性能效率也要看编码的处理机制。 OceanBase 官方提供了的 OceanBase Migration Service (OMS) 数据…

【Spring MVC】如何获取cookie/session以及响应@RestController的理解,Header的设置

前言 &#x1f31f;&#x1f31f;本期讲解关于SpringMVC的编程之参数传递~~~ &#x1f308;感兴趣的小伙伴看一看小编主页&#xff1a;GGBondlctrl-CSDN博客 &#x1f525; 你的点赞就是小编不断更新的最大动力 &#x1f386;那么废…

【详细介绍及演示】Flink之checkpoint检查点的使用

目录 一、介绍 二、 设置checkpoint检查点演示 1、 代码演示 2、测试代码效果 3、查看快照情况 ​编辑 三、在集群上运行 1、第一次运行 2、第二次运行 四、自定义检查点savePoint 1、提交一个flink job 打成jar包 2、输入一些数据&#xff0c;观察单词对应的数字的…

JAVA篇05 —— 内部类(Local、Anonymous、Member、Static)

欢迎来到我的主页&#xff1a;【一只认真写代码的程序猿】 本篇文章收录于专栏【小小爪哇】 如果这篇文章对你有帮助&#xff0c;希望点赞收藏加关注啦~ 目录 1 内部类Inner Class 1.1 局部内部类 1.2 匿名内部类&#xff08;※※&#xff09; 1.3 匿名类最佳实践&#xf…

Spring Boot 与 Spring Cloud Alibaba 版本兼容对照

版本选择要点 Spring Boot 3.x 与 Spring Cloud Alibaba 2022.0.x Spring Boot 3.x 基于 Jakarta EE&#xff0c;javax.* 更换为 jakarta.*。 需要使用 Spring Cloud 2022.0.x 和 Spring Cloud Alibaba 2022.0.x。 Alibaba 2022.0.x 对 Spring Boot 3.x 的支持在其发行说明中…

jsp的pageContext对象

jsp的pageContext对象 是页面的上下文对象&#xff0c;表示当前页面运行环境&#xff0c;用于获取当前页面jsp页面信息&#xff0c;作用范围为当前的jsp页面 pageContext对象可以访问当前页面的所有jsp内置对象 jsp的四种内置对象 4中作用域&#xff1a;pagecontext,request…

网络安全在数字时代保护库存数据中的作用

如今&#xff0c;通过软件管理库存已成为一种标准做法。企业使用数字工具来跟踪库存水平、管理供应链和规划财务。 然而&#xff0c;技术的便利性也带来了网络威胁的风险。黑客将库存数据视为有价值的目标。保护这些数据不仅重要&#xff0c;而且必不可少。 了解网络安全及其…

Python图像处理:打造平滑液化效果动画

液化动画中的强度变化是通过在每一帧中逐渐调整液化效果的强度参数来实现的。在提供的代码示例中&#xff0c;强度变化是通过一个简单的线性插值方法来控制的&#xff0c;即随着动画帧数的增加&#xff0c;液化效果的强度也逐渐增加。 def liquify_image(image, center, radius…

day2全局注册

全局注册代码&#xff1a; //文件核心作用&#xff1a;导入App.vue,基于App.vue创建结构渲染index.htmlimport Vue from vue import App from ./App.vue //编写导入的代码&#xff0c;往代码的顶部编写&#xff08;规范&#xff09; import HmButton from ./components/Hm-But…

wireshark基础

免责声明&#xff1a; 笔记的只是方便各位师傅学习知识&#xff0c;以下代码、网站只涉及学习内容&#xff0c;其他的都与本人无关&#xff0c;切莫逾越法律红线&#xff0c;否则后果自负。 泷羽sec官网&#xff1a;https://longyusec.com/ 泷羽sec B站地址&#xff1a;https:/…

学习笔记037——Java中【Synchronized锁】

文章目录 1、修饰方法1.1、静态方法&#xff0c;锁定的是类1.2、非静态方法&#xff0c;锁定的是方法的调用者&#xff08;对象&#xff09; 2、修饰代码块&#xff0c;锁定的是传入的对象2.1、没有锁之前&#xff1a;2.2、有锁后&#xff1a; 实现线程同步&#xff0c;让多个线…