神经网络基础--什么是神经网络?? 常用激活函数是什么???

前言

  • 本专栏更新神经网络的一些基础知识;
  • 案例代码基于pytorch;
  • 欢迎收藏 + 关注, 本人将会持续更新。

神经网络

1、什么是神经网络

人工神经网络( Artificial Neural Network, 简写为ANN)也简称为神经网络(NN),是一种模仿生物神经网络结构和功能的 计算模型。

高中学生物的时候,我们可以发现在生物的神经网络中,由一个个神经元连接而成,在每个神经元中传递各种复杂的信号,在树突中输入信号,然后对信号进行处理,在轴突中输出信号这一过程。生物神经网络如图:

在这里插入图片描述

从生物的神经网络中可以看出,神经网络由神经元、树突、轴突所构成,当细胞核电量收集到一定程度的时候,会向数突发送电信号,电信号经过各种处理,最终会在轴突中输出。

2、人工神经网络

人工神经网络(ANN)实际上就是模拟生物神经网络的过程,神经网络可以看作由很多神经元所构成的,一个神经元中树突接收信号,然后进行处理,在轴突中输出信号,换算成人工神经网络中即有三部分构成:输入层、隐藏层、输出层所构成,一个简单的模拟神经元如图:

在这里插入图片描述

从上图可以看出,当接收到输入信号的时候,对信号要进行加权计算,最后输出的过程。其中w叫做权重,b叫做偏置,和之前学的斜率和截距相比有着更加专业的名称。

由多个神经元所构成自然就成为了神经网络,如图:

在这里插入图片描述

在神经网络中信号只是单方向移动,大概过程就是:

  1. 输入层:接收信号,可以看作的输入X
  2. 隐藏层:处理信号,对输入的数据进行各种线性和非线性变换,去拟合
  3. 输出层,输出信号,可以看作是Y

神经网络的作用:可以看作是一个万能的函数拟合器,拟合各种分布规律的点。

3、总结

神经网络是从生物神经网络中产生的,由很多神经元所有构成,每个神经元又包含输入层、隐藏层、输出层,从而发现数据的规律。

激活函数

1、非线性因素

线性:可以用一个线性方差来表示,如一元线性方程、多元线性方程……

非线性:在高中数学中,我们可以发现,实际应用很少数据规律是符合线性的,因为生活中的数据总是收到多个因素的影响,包括很多不确定因素的影响,数据分布可能符合:指数、对数、指对结合、三角结合…………

神经网络:从上面的神经网络图中可以发现,线性拟合可以经过不同神经元之间的权重和偏置进行拟合,而非线性因素需要引入激活函数,引入了激活函数后,神经网络就可以拟合各种曲线,逼近各种函数了,那什么是激活函数呢?请看下面讲解。

2、常见的激活函数

sigmoid

简介

表达式

f ( x ) = 1 1 + e − x \mathrm{f(x)=\frac1{1+e^{-x}}} f(x)=1+ex1

图像以及其导函数的图像

在这里插入图片描述

分析可以得出

  • sigmoid函数值域为:(0, 1),即:可以将任何函数值都可以映射到(0, 1) 范围内
  • 函数值效果分析
    • (-6, 6)区间内,效果可以,输出值有区别,尤其是在(-3, 3)区间中,效果最好,输出值有明显区别
    • 当x在大于6,或者小于-6的时候,效果不佳,输出值没有说明区别
  • 导数图像分析:
    • 值域:(0, 0.25)
    • 当x在大于6,或者小于-6的时候,导数值接近为0,收敛平缓

使用场景

  • 用作激活函数不多,主要运用在二分类中,如逻辑回归,并且神经网络层数不能多,否则很容易到后面求出导数值为0
pytorch代码举例
import torch
import matplotlib.pyplot as plt 
import torch.nn.functional as F from pylab import mpl
mpl.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams['axes.unicode_minus'] = Falsedef test():# 创建画板fig, axes = plt.subplots(1, 2)# 创建sigmoidx = torch.linspace(-20, 20, 1000)y = F.sigmoid(x)axes[0].plot(x, y)axes[0].grid()axes[0].set_title('Sigmoid 函数值')# 导函数x = torch.linspace(-20, 20, 1000, requires_grad=True)  # 最后一个参数,全程跟踪求导,并且将求导值存入 grad中# 求导torch.sigmoid(x).sum().backward()  # .backward() 以及任何被x直接或间接影响的、需要梯度的参数,将其值全部存储在 .grad 中# 绘图axes[1].plot(x.detach(), x.grad)   # .detach() 分离出x没有求导的值,x.grad存储求导的值axes[1].grid()axes[1].set_title('Sigmoid 导数值')if __name__ == '__main__':test()

输出图像如上图sigmoid所示。

tanh

简介

表达式

f ( x ) = 1 − e − 2 x 1 + e − 2 x \mathrm{f(x)=\frac{1-e^{-2x}}{1+e^{-2x}}} f(x)=1+e2x1e2x

图像及其导函数图像

在这里插入图片描述

分析

  • tanh的值域为:[-1, 1],即:任何函数值通过tanh函数都可以映射到:[-1, 1]区间
  • 关于源点0对称
  • 函数效果值分析
    • 在x属于[-3, 3]这个区域内,函数值映射效果区分度较大
    • 当x>3或者x<-3的时候,分别映射成 -1 与 1
  • 导数值分析
    • 值域:(0, 1)
    • 当x>3或者x<-3的时候,导数值为0
  • 与sigmoid函数区别
    • tanh函数收敛速度较快,运用范围较广
    • 查阅资料:可以搭配使用,隐藏层用tanh,输出层用sigmoid,用于二分类问题
pytorch代码举例
import torch 
import matplotlib.pyplot as plt 
import torch.nn.functional as F from pylab import mpl
mpl.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams['axes.unicode_minus'] = Falsedef test():# 创建画板fig, axes = plt.subplots(1, 2)# tanh图像x = torch.linspace(-20, 20, 1000)y = F.tanh(x)axes[0].plot(x, y)axes[0].grid()axes[0].set_title('tanh 函数')# 导函数图像x = torch.linspace(-20, 20, 1000, requires_grad=True)torch.tanh(x).sum().backward()axes[1].plot(x.detach(), x.grad)axes[1].grid()axes[1].set_title('tanh 导数')plt.show()if __name__ == '__main__':test()

ReLu(最常用的)

简介

表达式

f ( x ) = m a x ( 0 , x ) \mathrm{f(x)=max~(0,x)} f(x)=max (0,x)

图像

在这里插入图片描述

分析

  • 当 x 值小于0的时候,映射成0,当 x 值大于 0 的时候,映射成它本身
  • 运算简单,效率高,容易通过线性变换非线性变换拟合任何函数,最常用

导函数图像

在这里插入图片描述

分析

  • 函数值小于0,则导函数为 0 ,函数值大于0,导数值为 1
  • ReLU 能够在x>0时保持梯度不衰减,从而缓解梯度消失问题。

缺点

  • 如果我们网络的参数采用随机初始化时,很多参数可能为负数,这就使得输入的正值会被舍去,而输入的负值则会保留,这可能在大部分的情况下并不是我们想要的结果
  • 随着训练的推进,部分输入会落入小于0区域,导致对应权重无法更新。这种现象被称为“神经元死亡”

SoftMax

用于多分类题目

简介

表达式

s o f t m a x ( z i ) = e z i ∑ j e z j softmax(z_{i})=\frac{e^{z_{i}}}{\sum_{j}e^{z_{j}}} softmax(zi)=jezjezi

在这里插入图片描述

Softmax 直白来说就是将网络输出的 logits 通过 softmax函数,就映射成为(0,1)的值,而这些值的累和为1(满足概率的性质),那么我们将它理解成概率,选取概率最大(也就是值对应最大的)节点,作为我们的预测目标类别

pytorch代码
import torch scores = torch.tensor([0.2, 0.02, 0.15, 0.15, 1.3, 0.5, 0.06, 1.1, 0.05, 3.75])
probabilities = torch.softmax(scores, dim=0)
print(probabilities)

3、总结

如何选取激活函数?

对于隐藏层:

  1. 优先选择RELU激活函数
  2. 如果ReLu效果不好,那么尝试其他激活,如Leaky ReLu等。
  3. 如果你使用了Relu, 需要注意一下Dead Relu问题, 避免出现大的梯度从而导致过多的神经元死亡。
  4. 不要使用sigmoid激活函数,可以尝试使用tanh激活函数

对于输出层:

  1. 二分类问题选择sigmoid激活函数
  2. 多分类问题选择softmax激活函数
  3. 回归问题选择identity激活函数

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/465862.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Pycharm,2024最新专业版下载安装配置详细教程!

先来一段官方介绍&#xff0c;PyCharm是一种PythonIDE&#xff0c;带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具&#xff0c;比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外&#xff0c;该IDE提供了一些高级功能…

Edge浏览器打开PDF无法显示电子签章

Edge浏览器打开PDF无法显示电子签章 直接说处理方式 直接说处理方式 浏览器地址栏&#xff0c;输入 edge://flags/搜索&#xff1a;pdf禁用&#xff1a;New PDF Viewer效果如下

论 ONLYOFFICE:开源办公套件的深度探索

公主请阅 引言第一部分&#xff1a;ONLYOFFICE 的历史背景1.1 开源软件的崛起1.2 ONLYOFFICE 的发展历程 第二部分&#xff1a;ONLYOFFICE 的核心功能2.1 文档处理2.2 电子表格2.3 演示文稿 第三部分&#xff1a;技术架构与兼容性3.1 技术架构3.2 兼容性 第四部分&#xff1a;部…

算法——双指针

目录 前言一、什么是双指针二、算法特点三、算法实现步骤四、常见形式五、应用场景与示例六、优势与注意事项七、双指针算法动态图解八、经典例题[1. 回文判定](https://www.lanqiao.cn/problems/1371/learning/?page1&first_category_id1&name%E5%9B%9E%E6%96%87%E5%…

【简信CRM-注册安全分析报告】

前言 由于网站注册入口容易被黑客攻击&#xff0c;存在如下安全问题&#xff1a; 暴力破解密码&#xff0c;造成用户信息泄露短信盗刷的安全问题&#xff0c;影响业务及导致用户投诉带来经济损失&#xff0c;尤其是后付费客户&#xff0c;风险巨大&#xff0c;造成亏损无底洞…

burpsuite安装详细教程(非常详细)零基础入门到精通,收藏这篇就够了

BurpSuite是一款功能强大的集成化安全测试工具&#xff0c;专门用于攻击和测试Web应用程序的安全性。适合安全测试、渗透测试和开发人员使用。本篇文章基于BurpSuite安装及常用实操做详解&#xff0c;如果你是一名安全测试初学者&#xff0c;会大有收获&#xff01; 前****言 …

使用亚马逊 S3 连接器为 PyTorch 和 MinIO 创建地图式数据集

在深入研究 Amazon 的 PyTorch S3 连接器之前&#xff0c;有必要介绍一下它要解决的问题。许多 AI 模型需要使用无法放入内存的数据进行训练。此外&#xff0c;许多为计算机视觉和生成式 AI 构建的真正有趣的模型使用的数据甚至无法容纳在单个服务器附带的磁盘驱动器上。解决存…

【Python】怎么创建一个新的conda环境,并在其中安装所需的软件包

最近在运行前同事留下的包的时候&#xff0c;遇到了numpy包和pandas包不匹配的问题&#xff0c;具体见前一篇&#xff1a;【Python】遇到pandas 和numpy版本不兼容怎么办&#xff1f;sharetypeblogdetail&sharerId143412274&sharereferPC&sharesourceMeggie35&…

优衣库在淘宝平台的全方位竞品分析与店铺表现研究:市场定位与竞争策略透视

优衣库品牌在淘宝平台的全方位竞品与店铺表现分析 一、品牌商品分析 1.商品列表与分类分析&#xff08;数据来源&#xff1a;关键词商品搜索接口&#xff1b;获取时间&#xff1a;2024.08.30&#xff09; 商品类别分布柱状图&#xff1a; 根据关键词商品搜索接口获取到的优衣…

[HCTF 2018]WarmUp 1--详细解析

打开靶机&#xff0c;进入界面&#xff1a; 信息搜集 当前界面没有任何有用信息。 想到查看页面源代码。右键–查看页面源代码 看到hint&#xff1a;<!--source.php--> 进入/source.php页面&#xff0c;看到页面源代码&#xff1a; <?phphighlight_file(__FILE_…

安利一款超6K+ star的可拖放响应式灵活的网格布局Gridstack.js

Gridstack.js是一个现代JavaScript&#xff08;或Typescript&#xff09;库&#xff0c;旨在帮助开发人员快速构建交互式和响应式的布局。以下是对Gridstack.js的详细介绍&#xff1a; 一、主要特点 灵活的网格布局&#xff1a;Gridstack.js允许开发者轻松地创建和管理网格布局…

嵌入式学习-网络高级-Day01

嵌入式学习-网络高级-Day01 【1】Modbus协议 起源 分类 优势 应用场景 【2】Modbus TCP 特点 组成 报文头&#xff1a;7个字节 寄存器&#xff08;存储数据&#xff09; 功能码 总结 练习 【3】工具安装 Modbus Slave、Poll安装 网络调试助手 wireshark 练习 【1】Modbus协议 起…

细说STM32单片机USART中断收发RTC实时时间并改善其鲁棒性的另一种方法

目录 一、工程目的 1、目标 2、通讯协议及应对错误指令的处理目标 二、工程设置 三、程序改进 四、下载与调试 1、合规的指令 2、不以#开头&#xff0c;但以&#xff1b;结束&#xff0c;长度不限 3、以#开头&#xff0c;不以;结束&#xff0c;也不包含;&#xff0c;长…

路见不平 ! 基于tensorlfow快速迭代的户型图分类功能

前言 在工作之余&#xff0c;发现合作的同事需要手动筛选户型图&#xff0c;存在一些老旧或无家具的户型图。这启发我们通过机器学习的模型预测来辅助校验&#xff0c;进而优化筛选流程。当前本期目标为6万个,后续也会有数据需要筛选,已经筛选出一部分数据 可以进行模型训练&am…

字符串接龙 /单词接龙 (BFs C#

卡码网 110和 力扣127 和LCq 108题都是一个解法 这两道题乍一看在结果处可能不一样 力扣要求 字符串里边必须包含对应的最后一个字符 而110不需要最后一个字符 但是在实验逻辑上是一致的 只是110需要把如果在set中找不到最后一个字符就直接返回0的逻辑删去 就可以了 这就是…

STM32之看门狗

STM32有独立看门狗&#xff08;IWDG&#xff09;和窗口看门狗(WWDG)。 采用窗口看门狗&#xff08;WWDG&#xff09;&#xff0c;有一个死前中断&#xff0c;可以用来作一个报警的功能。 独立看门狗超时时间计算公式 假设LSI是32KHz,超时时间等于 预分频系数&#xff08;4&…

平安科技(外包)面试分享

前言&#xff1a; 这是成都这边的平安科技面试分享&#xff0c;上家公司是做海外的&#xff0c;好不容易逮到公司离职赔偿的机会&#xff0c;我就离职了&#xff0c;没想到过了国庆节之后&#xff0c;工作是那么的难找&#xff0c;大概投了1-2周简历&#xff08;外包和短期项目…

Python 在PDF中绘制形状(线条、矩形、椭圆形等)

在PDF中绘制图形可以增强文档的视觉效果。通过添加不同类型的形状&#xff0c;如实线、虚线、矩形、圆形等&#xff0c;可以使文档更加生动有趣&#xff0c;提高读者的阅读兴趣。这对于制作报告、演示文稿或是教材特别有用。本文将通过以下几个示例介绍如何使用Python 在PDF中绘…

2-2.STM32之定时器TIM---输入捕获--实验2( PWMI模式测频率占空比)

输入捕获模式测频率、PWMI模式测频率占空比-CSDN博客 参考这篇文章&#xff01; 来利用一个GPIO的定时器的两个通道进行捕获占空比和频率&#xff0c;看出可以看出。TI1FP1和TI2FP2&#xff0c;计数值分别在CCR1和CCR2中取&#xff0c; 测周法 IC.c #include "stm32f1…

2024年转行指南:大学生进军就业前景广阔的领域——人工智能大模型

据教育部数据统计&#xff0c;2024高校毕业生规模预计达1179万人&#xff0c;将再创历史新高&#xff0c;“就业难”仍是当前大学毕业生需要直面的问题。在此背景下&#xff0c;选择一个就业前景好的专业尤为重要。 究竟学什么样的专业好就业呢&#xff1f;给毕业生们推荐3个当…