《深度学习》—— 神经网络中常用的激活函数

文章目录

  • 1. Sigmoid 激活函数
  • 2. Softmax 激活函数
  • 3. ReLU 激活函数
  • 4. Leaky ReLU 激活函数
  • 5. ELU 激活函数
  • 6. Tanh 激活函数

激活函数(Activation Function)是在人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。它在神经网络中扮演着至关重要的角色,主要作用是对所有的隐藏层和输出层添加一个非线性的操作,使得神经网络的输出更为复杂、表达能力更强。

1. Sigmoid 激活函数

  • 函数定义:Sigmoid函数是一种S型函数,也称为S型生长曲线或Logistic函数。其数学表达式为:
    在这里插入图片描述
  • 特点:
    • 能够将输入的连续实值变换为0和1之间的输出,适合用作二分类的输出层
    • 函数平滑且易于求导
  • 缺点:
    • 激活函数计算量大,反向传播求误差梯度时涉及除法运算
    • 反向传播时容易出现梯度消失的情况,影响深层网络的训练
  • 函数图像:
    在这里插入图片描述

2. Softmax 激活函数

  • 函数定义:Softmax函数通常用于多分类问题的输出层,其数学表达式为:
    在这里插入图片描述
  • 特点:
    • 将输出转化为概率分布,所有输出值之和为1
    • 非常适合多分类问题
  • 函数图像:
    在这里插入图片描述

3. ReLU 激活函数

  • 函数定义:ReLU函数是线性整流函数,其数学表达式为:
    在这里插入图片描述
  • 特点:
    • 解决了梯度消失问题
    • 计算速度非常快,收敛速度远快于Sigmoid和Tanh
  • 缺点:
    • 输出的不是以0为中心
    • 某些神经元可能永远不会被激活(Dead ReLU)
  • 函数图像:
    在这里插入图片描述

4. Leaky ReLU 激活函数

  • 函数定义:Leaky ReLU函数是ReLU函数的改进版,其数学表达式为:
    在这里插入图片描述
    • α 是一个很小的常数
  • 特点:
    • 继承了ReLU函数的优点
    • 解决了Dead ReLU问题
  • 函数图像:
    在这里插入图片描述

5. ELU 激活函数

  • 函数定义:ELU函数是另一种ReLU函数的改进版,其数学表达式为:
    在这里插入图片描述
  • 特点:
    • 解决了ReLU的Dead ReLU问题
    • 在所有点上都是连续且可微的
    • 相比ReLU及其变体,在某些情况下能提高训练速度和准确度
  • 函数图象:
    在这里插入图片描述

6. Tanh 激活函数

  • 函数定义:Tanh函数是双曲正切函数,其数学表达式为:
    在这里插入图片描述
  • 特点:
    • 解决了Sigmoid函数不以0为中心输出的问题
    • 函数输出范围在-1到1之间,更接近数据真实分布
  • 缺点:
    • 仍然存在梯度消失的问题
    • 涉及幂运算,计算相对复杂
  • 函数图像:
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/430228.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django学习实战篇四(适合略有基础的新手小白学习)(从0开发项目)

前言: 在本章中,我们开始编写面向用户的界面,其中只涉及简单的HTML结构,不会做太多美化,目的就是把后台创建的数据展示到前台。 从技术上来讲,这一节将涉及Django 中function view和 class-based view 的用…

泛读笔记:从Word2Vec到BERT

自然语言处理(NLP)模型的发展历史 1.统计方法时期:使用贝叶斯方法、隐马尔可夫模型、概率模型等传统统计方法 2.机器学习时期:支持向量机(SVM)、决策树模型、随机森林、朴素贝叶斯等传统机器学习方法 3.深度学习革命:各种新的深度学习模型&am…

EasyExcel的基本使用——Java导入Excel数据

使用EasyExcel导入Excel数据有两种方式 无论哪种方式我们都需要建立Excel表格和Java对象的绑定 首先我们需要根据Excel表头定义一个对应的类 excel表示例: 对应的类: 使用ExcelProperty将excel列名和字段名绑定,括号里面填列名 package co…

GPU加速生物信息分析的尝试

GPU工具分类 实话实说,暂时只有英伟达的GPU才能实现比较方便的基因组分析集成化解决方案,其他卡还需要努力呀,或者需要商业公司或学术团体的努力开发呀!FPGA等这种专用卡的解决方案也是有的,比如某测序仪厂家&#xf…

9月23日

思维导图 作业 统计家目录下.c文件的个数 #!/bin/bashnum0for file in ~/*.c; doif [ -f "$file" ]; then((num))fi doneecho "家目录下.c文件的个数: $num"

HTML5 Video标签的属性、方法和事件汇总,以及常用视频插件推荐

🚀 个人简介:某大型国企资深软件研发工程师,信息系统项目管理师、CSDN优质创作者、阿里云专家博主,华为云云享专家,分享前端后端相关技术与工作常见问题~ 💟 作 者:码喽的自我修养&#x1f9…

第4步CentOS配置SSH服务用SSH终端XShell等连接方便文件上传或其它操作

宿主机的VM安装CENTOS文件无法快速上传,也不方便输入命令行,用SSH终端xshell连接虚拟机的SSH工具就方便多了,实现VM所在宿主机Win10上的xshell能连接vm的centos要实现以下几个环节 1、确保宿主机与虚拟机的连通性。 2、虚拟机安装SSH服务&…

在SpringCloud中实现服务熔断与降级,保障系统稳定性

在分布式系统中,微服务架构的应用越来越受欢迎。然而,由于各个微服务之间的依赖关系和网络通信的不稳定性,一个不稳定的服务可能会对整个系统产生连锁反应,导致系统崩溃。为了保障系统的稳定性,我们需要一种机制来处理…

PHP基础语法讲解

​ 大家好,我是程序员小羊! 前言: PHP(Hypertext Preprocessor)是一种常用于网页开发的服务器端脚本语言,易于学习并且与 HTML 紧密结合。以下是 PHP 的基础语法详细讲解。 1. PHP 基础结构 1.1 PHP 脚本结…

探索AutoIt:自动化任务的Python魔法棒!

文章目录 探索AutoIt:自动化任务的Python魔法棒!背景:为什么选择AutoIt?AutoIt库简介安装AutoIt库简单的库函数使用方法场景应用常见Bug及解决方案总结 探索AutoIt:自动化任务的Python魔法棒! 背景&#x…

深度学习02-pytorch-06-张量的形状操作

在 PyTorch 中,张量的形状操作是非常重要的,可以让你灵活地调整和处理张量的维度和数据结构。以下是一些常用的张量形状函数及其用法,带有详细解释和举例说明: 1. reshape() 功能: 改变张量的形状,但不改变数据的顺序…

玄机靶场--蚁剑流量

木马的连接密码是多少 黑客执行的第一个命令是什么 id 黑客读取了哪个文件的内容,提交文件绝对路径 /etc/passwd 黑客上传了什么文件到服务器,提交文件名 黑客上传的文件内容是什么 黑客下载了哪个文件,提交文件绝对路径 蚁剑流量特征总结 …

移动开发(三):使用.NET MAUI打包第一个安卓APK完整过程

目录 一、修改AndroidManifest.xml 配置APP基本信息权限 二、修改项目属性调整输出Android包格式为APK 三、项目发布 四、APP分发 五、总结 之前给大家介绍过使用使用.NET MAUI开发第一个安卓APP,今天给大家介绍如何打包成APK,然后安装到安卓手机正常运行。这里还是沿用…

基于springboot的驾校预约管理系统的设计与实现 (含源码+sql+视频导入教程)

👉文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1 、功能描述 基于springboot的驾校预约管理系统5拥有三种角色:管理员、教练、学员 管理员:学员管理、教练管理、车辆管理、车辆关联、维修管理等 教练:学员查看/毕…

脱离枯燥的CRUD,灵活使用Mybatis,根据mybatis动态的xml片段和接口规范动态生成代理类,轻松应付简单业务场景。

需求 需求是这样的,我们有一个数据服务平台的产品,用户先将数据源信息保存到平台上,一个数据源可以提供多个接口服务,而每个接口服务在数据库中存一个具有mybatis语法的sql片段。这样的话,对于一些简单的业务只需要编…

电力施工作业安全行为检测图像数据集

电力施工作业安全行为检测图像数据集,图片总共 2300左右,标注为voc(xml)格式,包含高空抛物,未佩戴安全带,高处作业无人监护等。 电力施工作业安全行为检测图像数据集 数据集描述 这是一个专门用于电力施工作业安全行…

Drive.js 的一些 Api 使用记录

文章目录 2024 年 drive.js 的基础使用想在下一步的时候处理些逻辑呢?(同步)Element 的各种选择器 2024 年 drive.js 的基础使用 安装就跳过了 npm install driver.js ,一行代码就可以搞定 官网的 Basic Usage 基础使用的截图如下: 想在下…

SLAM实操入门(八):使用Robosence-16转换数据格式,进行基于A-Loam的三维SLAM

文章目录 前言1 Robosence与Velodyne格式差异.2 格式转换2.1 rs_to_velodyne库2.2 目前支持: 3 拉取工程并编译2.1 安装robosence雷达驱动(类似第六章):2.2 构建rs2vel工程: 3 运行robosence雷达,并转换格式…

2012年408考研真题-数据结构

8.【2012统考真题】求整数n(n≥0)的阶乘的算法如下&#xff0c;其时间复杂度是(&#xff09;。 int fact(int n){ if(n<1) return 1; return n*fact (n-1); } A. O(log2n) B. O(n) C. O(nlog2n) D. O(n^2) 解析&#xff1a; 观察代码&#xff0c;我们不…

Matlab Simulink 主时间步(major time step)、子时间步(minor time step)

高亮颜色说明&#xff1a;突出重点 个人觉得&#xff0c;&#xff1a;待核准个人观点是否有误 高亮颜色超链接 文章目录 对Simulink 时间步的理解Simulink 采样时间的类型Discrete Sample Times(离散采样时间)Controllable Sample Time(可控采样时间) Continuous Sample Times(…