深度学习 Lecture 7 迁移学习、精确率、召回率和F1评分

一、迁移学习（Transfer learning)

用来自不同任务的数据来帮助我解决当前任务。

场景：比如现在我想要识别从0到9度手写数字，但是我没有那么多手写数字的带标签数据。我可以找到一个很大的数据集，比如有一百万张图片的猫、狗、汽车和人等1000个类，那我就可以在这个大型数据集上用这一百万张图片作为输入，训练一个模型来学会识别这1000个不同的类别。
比如我训练出来后，长这样：

这里有w,b参数

那接下来，我就可以把前面的输入层和隐藏层全部照原来的不动，把输出层更改为10个神经元，即：

10个神经元分别对应0-9的10个数字。

但注意这里的w5和b5需要改变，因为神经元改变了，所以要用前四层的参数进行训练，得出新的w5和b5。

也就是说，迁移学习后，有两种选择：

选项1适合数据集较小的情况。

选项卡2适合数据集较大的情况。

这种算法就叫迁移学习，就是把通过另一个训练好的训练模型参数迁移到现有的模型中来，这样对新神经网络的参数很有帮助，因为只需要再让算法学习一下，就能达到很好的效果了。

在大型数据集上训练，然后在较小的数据集上进一步调参（也叫微调（fine tuning)，这两个步骤叫监督预训练（supervised pretraining)

而迁移学习的一个好处是，我可能不需要进行监督预训练。

对应很多神经网络来说，已经有研究人员在大数据集上训练了一个效果很好的神经网络并发在了网上，那比起从头开始，我们可以下载别人训练好的神经网络，把自己的输出层替换原有的输出层，并用自己的数据集做一点微调即可得到一个表现良好的神经网络。

但是要注意！对应预训练和调参这两步，使用的图像必须是同个输入尺寸的，并且选择的别人的模型也要是图像识别的。也就是说，如果你要做音频识别，那你要找的神经网络也是在音频数据上预训练过的神经网络。

二、机器学习项目的整个周期

第一步：确定项目的范围：

确定这项目是什么，什么是你想做的

第二步：收集数据

确定需要哪些数据来训练你的机器学习系统，然后去收集

第三步：训练模型

进行误差分析，进行迭代发展，看训练效果是否不好，不好的话找原因，比如回去收集更多的数据这样。

第四步：部署系统

应用到现实中，并且要跟进模型的性能，如果模型性能出现问题，要及时维护。

PS: 注意，误差最小的模型不一定代表模型准确率最高。

原因：比如当你的模型在预测一个人是否有罕见病的时候（罕见病发病率0.5%)，而你的蠢模型只会一直在输出该人无罕见病，那模型准确率就是99.5%；但是如果你自己训练的模型准确率是99.2%，但是它不会像傻子一样一直在输出该人无罕见病，可能更有用这个时候你怎么判断哪个模型更好呢？（这种情况叫数据集倾斜问题）

解决方式是使用精确率（Precison)和召回率(Recall)作为错误的度量。