一、感知机
1、相关概念介绍
感知机(perceptron)是二分类的线性分类模型,属于监督学习算法。输入为实例的特征向量,输出为实例的类别(取+1和-1)。
2、(单层)感知机存在的问题
感知机不能拟合XOR函数,它只能产生线性分割面。
3、总结
二、多层感知机
1、多层感知机思路
多层感知机思路就是将一次不能完成学习的东西分多次进行学习。针对XOR问题就是先学一个x,再学一个y,然后再将这两次学习的结果组合起来。
2、激活函数
激活函数不能是线性的,一定要使用非线性的激活函数,否则会造成模型坍塌。
例如,如果激活函数为:
那么输出仍然是线性函数,其实仍然相当于一个单层的感知机
3、常见的激活函数
ReLU函数是其中最常用的函数,因为其计算起来很快,相比于Sigmoid函数和Tanh函数来讲没有指数运算。因为指数运算较慢,因此有时候使用ReLU激活函数节约算力。