在深度学习的实践中，调参是一项既艺术又科学的工作。它不仅需要理论知识的支撑，还需要大量的实践经验。以下是一些在RNN和CNN模型调参中积累的经验，希望对正在这个领域摸索的朋友们有所帮助。
1. 从成熟的开源项目开始
对于初学者来说，不建议一开始就自己从头写模型。应该先使用成熟的开源项目及其默认配置，比如各种经典模型的复现或者模型原作者提供的代码仓库。这样做的好处是，你可以在自己的数据集上快速跑一遍，同时仔细研究代码中的细节，最后再根据自己的需要进行修改。
2. 梯度裁剪（Gradient Clipping）
在训练RNN时，不加梯度裁剪很容易导致损失（loss）突然变成NaN。这是因为梯度爆炸问题，梯度裁剪可以有效控制梯度的大小，防止这种情况发生。
3. 学习率的设置
在进行如语言模型或机器翻译等任务时，如果使用输入输出嵌入（tying input&output embedding）共享参数，学习率需要设置得非常小，否则也容易导致NaN问题。
4. 数据规模的考量
面对大规模数据集时，不建议一开始就在全量数据上训练。可以先用1/100或1/10的数据量进行训练，对模型性能和训练时间有一个初步的估计，再外推全量数据的训练时间。这样可以避免在没有足够信心的情况下进行大规模实验。
5. 超参数的重要性
不要只关注模型结构的美观，而忽视了调参数的论文或实验报告。这些文献中的超参数设置和实验细节对于理解模型性能至关重要。例如，BERT+使用的激活函数是GELU而非ReLU，这一点在实验中经常被忽视。
6. 初始学习率的确定
初始学习率的设置往往受到batch size、sequence length等因素的影响。建议首先计算per token loss，然后从一个较小的值开始，逐步指数增大学习率进行训练，观察损失函数的变化，选择损失下降最快的学习率。
7. Subword Tokenization
在处理文本数据时，subword tokenization通常能够提供稳定的性能，可以直接应用。
8. GPU与CPU的错误处理
当GPU报错时，尽量在CPU上重跑，因为CPU的错误信息通常更友好，有助于快速定位问题。
9. 耐心的重要性
最后，但同样重要的是耐心。调参是一个需要时间和耐心的过程，很多人因为缺乏耐心而浪费了大量时间。调参不是一蹴而就的，需要不断地尝试和调整。
以上经验希望能为你的深度学习调参之路提供一些指导。记住，调参是一个不断学习和探索的过程，每一次实验都是向成功迈进的一步。
