NLP 复习大纲

CH3

激活函数意义
增强网络表达能力，引入非线性因素
连续可导的非线性函数
尽可能简单
导数的值域要在合适的范围内
为什么会发生梯度消失
误差传播的迭代公式为：
其中需要用到激活函数的导数，而激活函数的导数值小于1时，误差经过每一层传递都会不断衰减，当网络很深的时候，梯度会消失。
损失函数的种类
绝对值损失函数
交叉熵损失函数
平方损失函数
梯度下降方法
梯度下降：全批次
随机梯度下降：每一次随机选择一个数据计算梯度
mini-batch：结合两者
异同：计算效率，更新频率，样本划分，目标
如何解决梯度消失和过拟合
选择合适的激活函数，用复杂的们结构代替激活函数，残差结构
正则化解决过拟合
CNN
由卷积层、子采样层、全连接层交叉堆叠而成
与DNNqubie
DNN训练方法
BP
RNN的训练方法
BPTT
BPTT和BP的区别
BPTT损失函数定义为每一个时刻的损失之和，它会在每一个时间步长内叠加所有对应的权重梯度
GNN如何解决邻接节点个数不确定
将目标节点的特征更新为其自身特征和邻居特征的组合。
GNN卷积步骤：1.Aggregation 2.Transformation
在最后一层（K层）得到每个结点的表示后，可以根据任务将其代入任何损失函数，然后用梯度下降法训练参数
GNN训练方法
卷积，然后在最后一层得到每个节点的表示后，根据任务将其带入任何损失函数，邻接节点特征聚合，transformation引入非线性

相较于DNN，CNN，RNN有什么优点？

DNN,CNN输入输出定长，RNN处理变长问题效率更高
DNN,CNN无法处理时序相关的问题

CNN各层的作用是什么

卷积层：通过卷积操作减少参数
池化层：通过采样减少网络规模
全连接层：将池化层的单元平化

GNN和CNN的区别

卷积思想
- 核心相同：两者都利用卷积操作从输入中提取特征。
- 共享权重：CNN在特定区域共享卷积核参数，GNN在邻域节点中共享权重，减少参数量。
- 特征聚合：两者都通过聚合局部特征（局部连接）生成全局信息。
目标：
- 两者均试图降低模型复杂度，同时保留尽可能多的关键信息。
训练方法：
- 均通过梯度下降法优化损失函数（如交叉熵损失）。
- 使用类似的反向传播（BP）算法来更新权重。