机器学习和深度学习-- 李宏毅（笔记与个人理解）Day22

Day 22 Transformer

seqence to seqence

有什么用呢？

image-20240419195409787

image-20240419200600208

image-20240419200618184

image-20240419200655869

image-20240419200714492

Encoder

image-20240419200811528

image-20240419200929890

image-20240419201816447

image-20240419201856942
how Block workimage-20240419202000619

仔细讲讲Residual 的过程？

重构

image-20240419202016784

image-20240419202055831

Decoder - AutoRegressive

image-20240419202814089

image-20240419203026310

image-20240419203044694

image-20240419203125676

Mask

image-20240419203147941

image-20240419203210758

image-20240419203323124

由于是文字接龙，所以无法考虑右边的 info

image-20240419203435098

image-20240419203445328

image-20240419203517384

image-20240419203607549

image-20240419203641245
另一种decoder

image-20240419204034186

Encoder to Decoder – Cross Attend

image-20240419204156788

image-20240419204337308

image-20240419204606629

怀疑begin那里没有做 Norm是bug

image-20240419204911428

image-20240419205003779

Training

image-20240419205022013

image-20240419205132661

很像分类的问题

image-20240419205223059

image-20240419205257761

Teacher Forcing ： using the ground truth as input

Tips

image-20240419205454295

image-20240419205509670

image-20240419205543623

image-20240419205805744

how to resolve that?

image-20240419213753968
image-20240419214526024

image-20240419214840792

image-20240419215040489

image-20240419215130167

image-20240419215205131

image-20240419215259187

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/315350.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

jsp servlet 学生信息管理系统

jsp servlet 学生信息管理系统

一、角色划分 1、超级管理员 2、学生 二、模块展示 1、登录 2、列表页面【超级管理员展示所有用户信息、学生只展示当前登录用户信息】 3、新增 4、编辑 三、数据库【mysql】 四、运行演示 jsp servlet 学生信息管理系统
阅读更多...
Spark高可用模式和Spark分布式Yarn环境安装

Spark高可用模式和Spark分布式Yarn环境安装

Spark分布式HA环境安装 图-12 高可用模式原理 因为在目前情况下，集群中只有一个Master，如果master挂掉，便无法对外提供新的服务，显然有单点故障问题，解决方法就是master的ha。 有两种方式解决单点故障，一…
阅读更多...
网络通信安全

网络通信安全

一、网络通信安全基础 TCP/IP协议简介 TCP/IP体系结构、以太网、Internet地址、端口 TCP/IP协议简介如下：（from文心一言） TCP/IP（Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议&#xff0…
阅读更多...
Java使用IText根据pdf模板创建pdf文件

Java使用IText根据pdf模板创建pdf文件

1.导包 <dependency><groupId>com.itextpdf</groupId><artifactId>itextpdf</artifactId><version>5.5.10</version></dependency><dependency><groupId>com.itextpdf</groupId><artifactId>itext-as…
阅读更多...
算法学习笔记Day9——动态规划基础篇

算法学习笔记Day9——动态规划基础篇

一、介绍 本文解决几个问题&#xff1a;动态规划是什么&#xff1f;解决动态规划问题有什么技巧&#xff1f;如何学习动态规划&#xff1f; 1. 动态规划问题的一般形式就是求最值。动态规划其实是运筹学的一种最优化方法&#xff0c;只不过在计算机问题上应用比较多&#xff…
阅读更多...
kotlin 编写一个简单的天气预报app （七）使用material design

kotlin 编写一个简单的天气预报app （七）使用material design

一、优化思路 对之前的天气预报的app进行了优化&#xff0c;原先的天气预报程序逻辑是这样的。 使用text和button组合了一个输入城市&#xff0c;并请求openweathermap对应数据&#xff0c;并显示的功能。 但是搜索城市的时候&#xff0c;可能会有错误&#xff0c;比如大小写…
阅读更多...
超市火灾烟雾蔓延及人员疏散的matlab模拟仿真,带GUI界面

超市火灾烟雾蔓延及人员疏散的matlab模拟仿真,带GUI界面

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 出口在人员的视野范围内时&#xff0c;该元胞选择朝向引导点的方向运动。出口不在人员的视野范围内时&#xff0c;作随机运动&#xff0c;8个方向的运动概率相等。…
阅读更多...
深度学习| 注意力机制

深度学习| 注意力机制

注意力机制 为什么需要注意力机制Seq2Seq问题Transfomer Attention注意力机制分类软硬注意力注意力域 为什么需要注意力机制 这个可以从NLP的Seq2Seq问题来慢慢理解。 Seq2Seq问题 Seq2Seq&#xff08;Sequence to Sequence&#xff09;&#xff1a;早期很多模型中&#xff…
阅读更多...
清除git缓存后，每次pull或者push都需要输入用户名密码

清除git缓存后，每次pull或者push都需要输入用户名密码

git bash进入你的项目目录&#xff0c;输入&#xff1a;git config --global credential.helper store 然后在文件下pull一下&#xff0c;输入一次用户名密码后&#xff0c;再次pull或者push就不需要输入了。 亲测有用哦
阅读更多...
挑战一周完成Vue3项目Day2:路由配置+登录模块+layout组件+路由鉴权

挑战一周完成Vue3项目Day2:路由配置+登录模块+layout组件+路由鉴权

一、路由配置 经过分析&#xff0c;项目一共需要4个一级路由&#xff1a;登录&#xff08;login&#xff09;、主页&#xff08;home&#xff09;、404、任意路由&#xff08;重定向到404&#xff09;。 1、安装路由插件 pnpm install vue-router 2、创建路由组件 在src目…
阅读更多...
区块链安全应用-------压力测试

区块链安全应用-------压力测试

基于已有的链进行测试&#xff08;build_chain默认建的链 四个节 点&#xff09;&#xff1a; 第一步&#xff1a;搭链 1. 安装依赖 在ubuntu操作系统中&#xff0c;操作步骤如下&#xff1a; sudo apt install -y openssl curl 2. 创建操作目录, 下载安装脚本 ## 创建操作…
阅读更多...
Selenium web自动化测试环境搭建

Selenium web自动化测试环境搭建

Selenium web自动化环境搭建主要要经历以下几个步骤&#xff1a; 1、安装python 在python官网&#xff1a;Welcome to Python.org&#xff0c;根据各自对应平台如&#xff1a;windows&#xff0c;下载相应的python版本。 ​ 下载成功后&#xff0c;点击安装包&#xff0c;一直…
阅读更多...
CMakeLists.txt中如何添加编译选项？

CMakeLists.txt中如何添加编译选项？

1. 引子 编译器有多种可供选择&#xff0c;如g、c、clang等&#xff0c;如下以c作为示例。 2. 使用CMAKE_CXX_FLAGS添加编译选项 在Makefile中可能用类似如下的指令来添加编译选项&#xff1a; /usr/bin/c -Wall -Wextra -Wno-sign-compare -Wno-unused-variable -Wno-unuse…
阅读更多...
【Node.js】02 —— Path模块全解析

【Node.js】02 —— Path模块全解析

&#x1f31f;Node.js之Path模块探索&#x1f308; &#x1f4da;引言 在Node.js的世界中&#xff0c;path模块就像一把万能钥匙&#x1f511;&#xff0c;它帮助我们理解和操作文件与目录的路径。无论你是初入Node.js殿堂的新手&#xff0c;还是久经沙场的老兵&#xff0c;理…
阅读更多...
什么样的内外网文档摆渡，可以实现安全高效传输？

什么样的内外网文档摆渡，可以实现安全高效传输？

内外网文档摆渡通常指的是在内网&#xff08;公司或组织的内部网络&#xff09;和外网&#xff08;如互联网&#xff09;之间安全地传输文件的过程。这个过程需要特别注意安全性&#xff0c;因为内网往往包含敏感数据&#xff0c;直接连接内网和外网可能会带来安全风险。因此会…
阅读更多...
git 命令怎么回退到指定的某个提交 commit hash 并推送远程分支？

git 命令怎么回退到指定的某个提交 commit hash 并推送远程分支？

问题 如下图&#xff0c;我要回退到 【002】Babel 的编译流程 这一次提交 解决 1、先执行下面命令&#xff0c;输出日志&#xff0c;主要就是拿到提交 commit 的 hash&#xff0c;上图红框即可 git log或者 vscode 里面直接右击&#xff0c;copy sha 2、执行下面命令回退 g…
阅读更多...
将本地项目推送到Gitee仓库

将本地项目推送到Gitee仓库

参考博客
阅读更多...
Flask 数据库前后端交互案例-1

Flask 数据库前后端交互案例-1

Flask 数据库前后端交互案例 目录结构templates目录base.htmlheader.htmlleft.html首页职员管理页面添加员工界面员工编辑页面员工详情界面 后台main.pyapp.pymodels.pyviews.py 数据库数据position.sqlperson.sqlpermission.sqldepartment.sql 目录结构 静态文件链接&#xff…
阅读更多...
ArcGIS Pro 和 Python — 分析全球主要城市中心的土地覆盖变化

ArcGIS Pro 和 Python — 分析全球主要城市中心的土地覆盖变化

第一步——设置工作环境 1–0. 地理数据库 在下载任何数据之前，我将创建几个地理数据库，在其中保存和存储所有数据以及我将创建的后续图层。将为我要分析的五个城市中的每一个创建一个地理数据库，并将其命名为： “Phoenix.gdb” “Singapore.gdb” “Berlin.gdb” “B…
阅读更多...
Git--分布式版本控制系统

Git--分布式版本控制系统

目录 一、理解分布式版本控制系统二、远程仓库三、克隆远程仓库四、向远程仓库推送五、拉取远程仓库六、配置Git七、给命令配置别名八、创建标签九、操作标签 一、理解分布式版本控制系统 我们⽬前所说的所有内容&#xff08;⼯作区&#xff0c;暂存区&#xff0c;版本库等等&a…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023