深度学习之微积分预备知识点

极限(Limit)

  • 定义:表示某一点处函数趋近于某一特定值的过程,一般记为 \lim_{x \to a}f(x) =L

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式eq?%5Clim_%7Bx%20%5Cto%20a%7D%20f%28x%29 表示 x 趋向 a 时 f(x) 的极限。
知识点口诀解释
极限的存在左右极限需相等左极限等于右极限,极限才存在
极限求值小数接近分母带分子分母消掉无关,最后代入极限值
无限极限无穷大趋向无穷多x 趋向无穷大时,函数会无界
常数极限常数极限还是常常数不随 x 变化,其极限为常数本身

总结

  • 极限是“左等于右”,常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

           对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为eq?%5Cfrac%7B%5Cmathrm%7Bdf%28x%29%29%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

  • 公式eq?%5Cfrac%7Bdy%7D%7Bdx%7D%20%3D%20%5Clim_%7B%5CDelta%20x%20%5Cto%200%7D%20%5Cfrac%7B%5CDelta%20y%7D%7B%5CDelta%20x%7D
知识点口诀解释
导数定义式变化速率瞬间看导数即函数在某点的变化率
斜率斜率即导数曲线的导数等于该点处切线的斜率
导数存在条件连续光滑无跳变函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。


微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。

  • 公式eq?dy%20%3D%20f%27%28x%29%20dx,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

  • 知识点口诀解释
    微分近似小变大差线性算微分表示函数的增量,是导数的线性近似
    一阶微分导数导差就是微分微分与导数等价于线性变化

    总结

  • 微分近似小变大,导差线性接着算。

  • 导数表示变化率微分表示变化量

偏导数(Partial Derivative)

  • 定义:偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D 来表示多元函数eq?z%20%3D%20f%28x%2Cy%29 ,关于x的偏导数 即:eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D%20%3D%20%5Clim_%7Bh%20%5Cto%200%7D%5Cfrac%7Bf%28x+h%2Cy%29-f%28x%2Cy%29%7D%7Bh%7D
知识点口诀解释
偏导数看谁变化锁其他偏导数只看一个变量,其他变量保持不变
偏导数几何意义高维斜率看切面在多维空间中,偏导数表示函数沿某轴的斜率
计算方法变量固定逐个求对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义:梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是eq?%5Ctriangledown
  • 公式: 对函数 eq?z%20%3D%20f%28x%2Cy%29%3Dx%5E2%20+%20y%5E2 来说,其梯度向量是  eq?%5Ctriangledown%20f%28x%2Cy%29%20%3D%20%282x%2C2y%29

    梯度下降算法中,参数更新公式为   eq?%5Ctheta%20_%7Bt+1%7D%20%3D%5Ctheta_%7Bt%7D%20-%20%5Ceta%20%5Ctriangledown%20_%7B%5Ctheta%7DJ%28%5Ctheta_%7Bt%7D%29

知识点口诀解释
梯度定义快速上升靠梯度梯度表示函数变化最快的方向
梯度计算多维偏导排成队梯度是各个偏导数排列成的向量
梯度方向梯度方向最快升梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下  eq?%5Cfrac%7B%5Cmathrm%7Bd%7Dz%20%7D%7B%5Cmathrm%7Bd%7D%20y%7D%20*%20%5Cfrac%7B%5Cmathrm%7Bd%7Dy%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数   eq?f%28x%29%20%3D%20x%5E2  和  eq?g%28x%29%20%3D%20x+1, 计算  eq?h%28x%29%20%3D%20f%28g%28x%29%29%20%3D%20%28x+1%29%5E2  的导数,可得

eq?h%27%28x%29%20%3D%20f%27%28g%28x%29%29*g%27%28x%29%20%5C%5C%20%5C%20%3D%202%28x+1%29*1%20%5C%5C%20%5C%20%3D%202x%20+2

  • 公式eq?%5Cfrac%7B%5Cmathrm%7Bd%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7Df%28g%28x%29%29%20%3Df%27%28g%28x%29%29*g%27%28x%29
知识点口诀解释
链式法则内外分导再相乘外层函数的导数乘以内层函数的导数
链式求导应用多层复合层层解对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。


记忆口诀

  • 极限:“左等于右,常数不变小数带”,极限需要左右一致,小数极限直接代入。
  • 导数:“导数看斜率,曲线随点变”,导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:“微分近似小变大,导差线性接着算”,微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:“偏导锁定一变量,高维斜率看切面”,多变量函数中只看一个变量的变化,其余固定。
  • 梯度:“梯度导快升,排队各偏导”,梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:“链式分内外,逐层导相乘”,链式法则用于复合函数的求导,逐层求导并相乘。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/425168.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【CSS】 Grid布局:现代网页设计的基石

引言 最近接到一个网页布局比较复杂的页面,看了半天还是决定用grid布局来写,记录一下 布局是构建用户界面的关键部分。CSS Grid布局提供了一种简单而强大的方式来创建复杂的网格布局,它让设计师和开发者能够更直观、更灵活地控制网页的结构。…

MySQL 子查询全解析:执行、性能影响与优化策略

在 MySQL 数据库的操作中,子查询是一个强大而又复杂的工具。今天,我们就来深入探讨 MySQL 如何执行子查询、其性能影响、优化方法以及哪些情况下应避免使用子查询。 一、MySQL 如何执行子查询 非相关子查询 非相关子查询也被称为独立子查询,…

网络安全学习(三)Hydra破解密码

接下来看一下Hydra工具,这是一个暴力破解密码的工具。 使用命令(注意区分大小写)。 hydra -L user.txt账号字典 -P pass.txt密码字典 IP地址 smb协议名称 hydra -l administrator指定账号 -P pass.txt密码字典 IP地址 smb协议名称 hydra -…

数据结构(Day13)

一、学习内容 内存空间划分 1、一个进程启动后,计算机会给该进程分配4G的虚拟内存 2、其中0G-3G是用户空间【程序员写代码操作部分】【应用层】 3、3G-4G是内核空间【与底层驱动有关】 4、所有进程共享3G-4G的内核空间,每个进程独立拥有0G-3G的用户空间 …

【Go】Go语言介绍与开发环境搭建

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,…

OpenHarmony鸿蒙( Beta5.0)智能加湿器开发详解

鸿蒙开发往期必看: 一分钟了解”纯血版!鸿蒙HarmonyOS Next应用开发! “非常详细的” 鸿蒙HarmonyOS Next应用开发学习路线!(从零基础入门到精通) “一杯冰美式的时间” 了解鸿蒙HarmonyOS Next应用开发路…

算法提高模板强连通分量tarjan算法

AC代码&#xff1a; #include<bits/stdc.h>using namespace std;typedef long long ll; const int MOD 998244353; const int N 2e5 10;//强联通分量模板 //tarjan算法 vector<int>e[N]; int n, m, cnt; int dfn[N], low[N], ins[N], idx; int bel[N];//记录每…

【C++】—— 内存管理

【C】—— 内存管理 1 C/C 的内存划分 1.1 C/C 的内存分布1.2 C/C 的内存分布练习 2 C语言 中动态内存管理方式&#xff1a;malloc/calloc/realloc/free3 C 内存管理方式3.1 new / delete 操作内置类型3.2 new 和 delete 操作自定义类型3.2.1 new 和 delete 操作自定义类型基础…

【Java】了解线程 Thread 类的使用,如何创建、终止、等待一个线程以及获取线程的状态

线程是什么 线程是操作系统中调度的基本单位&#xff0c;是比进程更小的执行单元。线程在进程内部运行&#xff0c;共享该进程的资源&#xff0c;如内存和文件句柄&#xff0c;但每个线程都有自己的执行栈和程序计数器。 线程的主要特点包括&#xff1a; 轻量级&#xff1a;…

1.1 计算机网络基本概述

欢迎大家订阅【计算机网络】学习专栏&#xff0c;开启你的计算机网络学习之旅&#xff01; 文章目录 前言一、网络的基本概念二、集线器、交换机和路由器三、互连网与互联网四、网络的类型五、互连网的组成1. 边缘部分2. 核心部分 六、网络协议 前言 计算机网络是现代信息社会…

LVGL学习

注&#xff1a;本文使用的lvgl-release-v8.3版本&#xff0c;其它版本可能稍有不同。 01 快速入门 1.1 LVGL模拟器配置 day01-02_课程介绍_哔哩哔哩_bilibili LVGL开发教程 (yuque.com) 如果按照上述视频和文档中配置不成功的话&#xff0c;直接重装VsCode&#xff0c;我的…

java实现系统文件管理

java实现系统文件管理 环境&#xff1a;jdk17springbootVueElementUI 背景&#xff1a;公司所做的项目需要别的系统向我们服务器上传文件&#xff0c;当我们需要查看这些文件什么时候上传的、文件数据是怎样的&#xff0c;只能去机房&#xff0c;排查问题效率较低&#xff0c;…

【VitualBox】VitualBox的网络模式+网络配置

VirtualBox 1. 简介 VirtualBox 是一款开源虚拟机软件&#xff0c;使用者可以在VirtualBox上安装并且执行Solaris、Windows、DOS、Linux、OS/2 Warp、BSD等系统作为客户端操作系统。 2. 六种网络接入模式 VirtualBox提供了多种网络接入模式&#xff0c;他们各有优缺点&#xf…

Baumer工业相机堡盟工业相机如何通过NEOAPI SDK获取相机当前数据吞吐量(Python)

Baumer工业相机堡盟工业相机如何通过NEOAPI SDK里函数来获取相机当前数据吞吐量&#xff08;Python&#xff09; Baumer工业相机Baumer工业相机的数据吞吐量的技术背景CameraExplorer如何查看相机吞吐量信息在NEOAPI SDK里通过函数获取相机接口吞吐量 Baumer工业相机通过NEOAPI…

移情别恋c++ ദ്ദി˶ー̀֊ー́ ) ——13.mapset

1. 关联式容器 在初阶阶段&#xff0c;我们已经接触过STL中的部分容器&#xff0c;比如&#xff1a;vector、list、deque、 forward_list(C11)等&#xff0c;这些容器统称为序列式容器&#xff0c;因为其底层为线性序列的数据结构&#xff0c;里面 存储的是元素本身。那什么是关…

【与C++的邂逅】--- 类和对象(上)

Welcome to 9ilks Code World (๑•́ ₃ •̀๑) 个人主页: 9ilk (๑•́ ₃ •̀๑) 文章专栏&#xff1a; 与C的邂逅 本篇博客将讲解C中的类和对象&#xff0c;C是面向对象的语言&#xff0c;面向对象三大特性是封装,继承,多态。学习类和对象&#xff0c;我们可…

【C语言】深入讲解指针(中)

文章目录 前言函数指针函数指针变量的创建函数指针变量的使用两段有趣的代码typedef 关键字 函数指针数组函数指针的使用最后 前言 上一章深入讲解指针&#xff08;上&#xff09;我们对字符指针、数组指针、指针和数组传参进行了讲解&#xff0c;本章将对函数指针进行讲解&am…

【Python】标准库的使用

文章目录 标准库日期计算字符串操作剑指offer 58&#xff0c;翻转单词顺序思路 leetcode 796&#xff0c;旋转字符串思路 leetcode 2255&#xff0c;统计是给定字符串前缀的字符串数目思路 文件查找工具 Python 通过模块来体现“库” 降低了程序猿的学习成本提高了程序的开发效…

【C语言篇】编译和链接以及预处理介绍(下篇)

文章目录 前言#和###运算符##运算符 命名约定#undef命令⾏定义条件编译#if和#endif多个分支的条件编译判断是否被定义嵌套指令 头文件被包含头文件被包含的方式本地文件包含库文件的包含 嵌套文件包含 其他预处理指令 写在最后 前言 本篇接前一篇【C语言篇】编译和链接以及预处…

【LeetCode】每日一题 2024_9_16 公交站间的距离(模拟)

前言 每天和你一起刷 LeetCode 每日一题~ LeetCode 启动&#xff01; 题目&#xff1a;公交站间的距离 代码与解题思路 func distanceBetweenBusStops(distance []int, start int, destination int) int {// 首先让 start > destination, 这两个谁大对结果没有影响&#…