机器学习约等于机器自动找一个函数

机器学习分类

1. regression：输出为连续值
2. classification：输出为一个类别
3. structured learning：又叫生成式学习generative learning
   • 生成有结构的物件（如：影像、句子）

ChatGPT：把生成式学习拆解成多个分类问题

1. ChatGPT实际做的事情：预测后面接哪一个字，可以理解成这是一个分类问题，类别是所有的字
2. 对于用户来说：用户实际体验认为ChatGPT是生成式学习。

机器学习约等于机器自动找一个函数，找函数的步骤
首先应明确要找什么的函数

1. 设定范围：确认候选函数的集合，即model。

   • 深度学习中类神经网络的结构（如：CNN、RNN、Transformer等）指的就是不同候选函数的集合（原因解释见ML Lecture 6: Brief Introduction of Deep Learning）。
   • 训练资料少的时候容易出现过拟合，设定的范围应该尽可能小（CNN）。当训练资料多时，设定的范围可以大一些（fully-connected，self-attention）。
   • deep learning（CNN，Transformer··），decision tree
   • 

2. 设定标准

   • 设定评估函数好坏的标准，即loss。loss越小表示跟标准答案的差距越小，loss越小函数越好。计算每个函数loss的函数叫做loss function。loss function取决于训练集。
   • 常用方法：监督学习、半监督学习、强化学习RL

3. 达成目标

   • 找出loss最小的函数，即optimization
   • 常用方法有梯度下降（adam，Adamw），genetic algorithm