采用预训练模型来训练新的模型

一、为什么需要使用预训练模型?

当可用的数据集较少时,我们从头开始训练的自己的卷积神经网络,想要将模型的精度会十分困难,如果我们想要进一步提高精度,因此下一步我们需要使用预训练的模型。

想要将深度学习应用于小型图像数据集,一种常用且非常高效的方法是使用预训练网络----python深度学习

二、什么是预训练模型?

顾名思义,预训练模型就是之前训练好的模型。预训练模型是一个训练并保存好的模型,之前在大型数据集上进行的训练。如果训练集足够大,那么该模型会具有普适性,即是一个通用的模型,即使在我们新的问题上涉及到新的类别,那也无妨。

三、怎么使用预训练网络?

使用预训练网络有两种方法:特征提取(feature extraction)和微调模型(fine-tuning)。

1、特征提取

特征提取是使用之前网络学到的表示来从新样本中提取出有趣的特征。然后将这些特征输入一个新的分类器,从头开始训练。

用于图像分类的卷积神经网络包含两部分:首先是一系列池化层和卷积层,最后是一个密集连接分类器。第一部分叫作模型的卷积(convolutional base)。对于卷积神经网络而言,特征提取就是取出之前训练好的网络的卷积基,在上面运行新数据,然后在输出上面训练一个新的分类器。如图一所示:卷积基不变,改变分类器
图一:卷积基不变,改变分类器

为什么只使用预训练模型的卷积基?

原因在于卷积基学到的表示可能更加通用,因此更适合重复使用。分类器学到的表示必然是针对于模型训练的类别,其中仅包含某个类别出现在整张图像中的概率信息,因此预训练模型密集连接层的特征在很大程度上是无用的。

如何进行特征提取(两种方法实现)

  1. 在你的数据集上运行卷积基,将输出保存成硬盘中的 Numpy 数组,然后用这个数据作为输入,输入到独立的密集连接分类器中(与本书第一部分介绍的分类器类似)。
    优点:速度快,计算代价低,因为对于每个输入图像只需运行一次卷积基。
    缺点:不允许你使用数据增强。
  2. 在顶部添加 Dense 层来扩展已有模型(即 conv_base),并在输入数据上端到端地运行整个模型。
    优点:可以使用数据增强。
    缺点:计算代价高,因为每个输入图像进入模型时都会经过卷积基。
    注意:第二种方法要“冻结”卷积基,冻结(freeze)一个或多个层是指在训练过程中保持其权重不变。如果不这么做,那么卷积基之前学到的表示将会在训练过程中被修改。因为其上添加的 Dense 层是随机初始化的,所以非常大的权重更新将会在网络中传播,对之前学到的表示造成很大破坏。

2、微调模型

模型微调(fine-tuning)与特征提取互为补充。对于用于特征提取的冻结的模型基,微调是指将其顶部的几层“解冻”,并将这解冻的几层和新增加的部联合训练。之所以叫作微调,是因为它只是略微调整了所复用模型中更加抽象的表示,以便让这些表示与手头的问题更加相关。
在这里插入图片描述
只有上面的分类器已经训练好了,才能微调卷积基的顶部几层。如果分类器没有训练好,那么训练期间通过网络传播的误差信号会特别大,微调的几层之前学到的表示都会被破坏。因此,微调网络的步骤如下。
(1) 在已经训练好的基网络(base network)上添加自定义网络。
(2) 冻结基网络。
(3) 训练所添加的部分。
(4) 解冻基网络的一些层。
(5) 联合训练解冻的这些层和添加的部分。

为什么不微调更多层?为什么不微调整个卷积基?

(1)卷积基中更靠底部的层编码的是更加通用的可复用特征,而更靠顶部的层编码的是更专业化的特征。微调这些更专业化的特征更加有用,因为它们需要在你的新问题上改变用途。微调更靠底部的层,得到的回报会更少。
(2)训练的参数越多,过拟合的风险越大。卷积基有 1500 万个参数,所以在你的小型数据集上训练这么多参数是有风险的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/57880.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【国际知名-hacker`动态`】洞悉-最新 hacker技术 新闻

国际知名-黑客动态 1、【导读】黑客 最新 技术&新闻 平台 2、【动态】每日必看的朋友圈 3、【多看看】跳出舒适圈,你要学的还有很多 ​ The Hacker News 报道黑客攻击、网络安全、科技新闻(内容深入浅出>提供及时、可靠的信息) 链接&#xff1a…

PoseiSwap 参赛,参与斯坦福、Nautilus等联合主办的 Hackathon 活动

近日,由 Stanford Blockchain Accelerator、Zebec Protocol、 Nautilus Chain、Rootz Lab 共同主办的“ Boundless Hackathon Stanford ” 主题的黑客松活动,目前已接受报名。该活动旨在帮助更多的优质开发者参与到 Web3 世界的发展中,推动链…

StartDT奇点云邀您参加2022云栖大会,11月3-5日杭州见

亚洲顶级的数字科技盛会 在这个金秋如约而至 今年,全新升级的StartDT (奇点云、GrowingIO) 将再再再度回归云栖大会 从2009到2022 云栖大会见证了中国互联网十四载风云变幻 今年,1000数字科技领军者 数万名科技从业者和爱好…

奇点云DataSimba发版全解析:“企业级”版本升级,提供最佳组合

近日,奇点云发布数据云产品商业化版本的全新升级:DataSimba(数据云平台)提供极速版、专业版、旗舰版、红旗版,可靠性、可用性、可服务性再进阶,四大版本满足不同企业选择。 「乐高式DIY」or「最佳组合」&am…

能ping通 浏览器无法访问任何网页解决办法

打开谷歌浏览器设置 进入高级设置 打开代理设置 局域网设置 取消勾选

电脑能上QQ但是无法打开网页的解决办法

打开IE浏览器 点击齿轮按钮(工具) 选择连接: 局域网设置: 取消打勾代理服务器:

浏览器出现无法访问该页面/无法连接服务器/服务器拒绝连接/XXX已拒绝连接,同时QQ微信可以登录发信息。

吐槽:新买的华硕天选4,RTX4060配置,不算业内顶配,不至于网上不了吧。。 上干货!!! 有用的话记得点个赞。你的赞数 虽然不会成为我解决问题的动力,但是打开一看它有数字 好看啊&am…

解决win10可以登录微信/QQ,浏览器无法访问网页的问题

今天到公司例行打开电脑进行工作,习惯性登PC版本微信/QQ,处理完事物工作后,打开Chrom却发现无法访问网页,以为是默认主页的问题,输入百度、bing后发现依然打不开。 这种情况以前也遇到很多次,所以初步判断…

[DNS 设置] 电脑无法访问网页,但可以正常使用QQ和微信。

[DNS 设置] 电脑无法访问网页,但可以正常使用QQ和微信。 文章目录 [DNS 设置] 电脑无法访问网页,但可以正常使用QQ和微信。问题描述解决方案1. 打开设置2. 选择适配器3. 选择WiFi适配器4. 修改DNS5. 重启电脑 问题描述 电脑可以正常使用QQ和微信&#x…

电脑可以聊微信但是无法上网页的解决方法

电脑可以聊微信但是无法上网页,ping不通百度的IP地址,一般是电脑的DNS出现错误,解决方案如下 打开360安全卫士,点击功能大全中的断网急救箱,进行扫描,之后进行修复。问题即可解决。

《浪潮之巅》-第四版-吴军-读书笔记-reading_note

浪潮之巅(第四版)(上下册) (豆瓣) (douban.com) 书评 这本书通过讲述许多著名科技公司、硅谷、斯坦福大学、工业革命的历史,逐步由浅入深地剖析世界科技、信息产业的客观规律,最后总结出世界产业革命的规律…

达闼GDC 2023全球开发者大会重磅发布海睿AGI平台,共建具身智能新生态!

近年来,人形机器人赛道上,波士顿动力、特斯拉、达闼等各家企业不断展示最新成果,让人们看到了机器人行业蓬勃的生命力。 近日,机器人概念再一次被引爆。 聚焦“共建具身通用人工智能新生态”,全球领先的智能机器人独角…

快讯 | 互联网惊现 AI 鬼城:上万个AI发帖聊天,人类不得入内;Spot机器狗集成ChatGPT,实现用语音和人类交流

一分钟速览新闻点 网易 CEO 丁磊:人工智能价值已被引导到生产第一线 中国电信天翼云将发布预训练大模型,目前已进入内部测试阶段 美团无人机上海首条常态化商用航线正式运行 百度文心一言大模型推理成本降为原来的十分之一 互联网惊现 AI 鬼城&#…

机器人视觉梳理(下)

原创 | 文 BFT机器人 03 机器人3D视觉应用案例 1.波士顿动力Atlas Atlas 使用 TOF 深度相机以每秒 15 帧的速度生成环境的点云,点云是测距的大规模集合。Atlas 的感知软件使用一种名为多平面分割的算法从点云中提取平面。多平面分割算法的输入馈入到一个映射系统…

FinTech普惠中国,技术创新智慧杭州

2017中国FinTech大会暨中国FinTech领军企业颁奖盛典 9月10日,“2017中国FinTech大会暨中国FinTech领军企业颁奖盛典”在杭州海外海皇冠大酒店隆重举办。本次大会由科技部现代服务产业联盟、中国FinTech百人会、中国首席技术官联盟联合主办,CCTV证券资讯…

2021第一季度云智能生态技术服务能力盘点

简介:为更好的让大家了解阿里云技术服务人才的能力,阿里云从技术服务培训认证的视角,持续就阿里云生态技术服务能力进行总结和盘点,便于各生态伙伴、云计算技术服务者、开发者了解。2021年第一季度,我们推出特别篇——…

移动互联智慧杭州、技术精英引领中国

2017中国(杭州)移动互联网大会暨中国首席技术官大会正式闭幕。 9月22日,“2017中国(杭州)移动互联网大会暨中国首席技术官大会”在杭州国际博览中心,即G20会场隆重举办。本次大会由中国首席技术官联盟、科…

无人驾驶时代的室外组网技术研究

无人驾驶时代的室外组网技术研究 车载自组网车载自组网简介车载自组网特点车载自组网组成及建构 主流自组网通信方式ZigBeeWIFIBlue ToothWiMAXDSRC4G/5G 参考文献 车载自组网 车辆通信网络就是在汽车上装载移动通信设备,为高速行驶中的车辆提供一种高速率的宽带无…

前加绩中国、信雅达高级全栈工程师:吴劲松

他是一名不甘平凡的开发者,通过自考上了中国科学技术大学的软件工程专业。曾就职过科大讯飞、信雅达、加绩中国等等知名开发公司,精益求精是他的开发理念,刻苦钻研是他的开发精神,坚持学习是他成长的轨迹,他就是本期程…

chatgpt赋能python:如何将Python改成中文

如何将Python改成中文 Python是一种广泛使用的编程语言,但默认情况下是英文界面。对于非英语母语国家的程序员来说,使用Python的过程中可能会遇到许多不方便之处,因此将Python改成中文是很有必要的。本文将介绍如何将Python改成中文&#xf…