一个好的模型需要对输入数据的扰动鲁棒
丢弃法：在层之间加入噪音，等同于加入正则
h2和h5变成0了
dropout一般作用在全连接隐藏层的输出上
Q&A
dropout随机置零对求梯度和求反向传播的影响是什么？为0
dropout属于超参数
dropout固定随机种子，dropout n次的影响是一样的
丢弃法是训练中把神经元丢弃后训练，在预测时网络中的神经元没有丢弃
丢弃法是每个batch都丢弃一次
/（1-p）的目的是为了期望保持一致，推理的输出结果不会翻倍
dropout最后平均的做法类似于随机森林多决策投票
