顶会热点！迁移学习9个结合创新思路，让审稿人眼前一亮

为更灵活、更高效地解决各种复杂和动态变化问题，研究者开始着眼于将迁移学习与其他技术相结合。

这种结合充分发挥了迁移学习的优势，如知识转移、数据效率和加速学习过程等，让模型能够从更高的基准开始学习，更快地适应新任务，节省时间和资源，并在训练过程中更高效地改进性能，提升泛化能力。

这些优势让其成为了众多研究者追求的热点，也让迁移学习+的写作模式逐渐成为了当前发文的主流，在各种学术期刊和会议上都有相当多的研究成果。

本文整理了9个最新的迁移学习结合创新方案，包含大火的图神经网络、物理信息神经网络等主题，希望能给各位提供新的思路。

全部论文合集需要的同学看文末

方法：论文提出了一种基于轻量级通道注意机制和迁移学习的齿轮箱故障诊断方法。该方法能够解决由于样本分布差异大和样本有限导致的故障诊断性能差的问题。使用轴承和齿轮数据集验证了所提出模型的分类和泛化能力。

创新点：

轻量级通道注意机制（LECA）：该方法通过1D卷积层、BN层、最大池化、平均池化和硬Sigmoid激活函数构建了LECA。LECA通过聚合全局和局部特征来捕捉通道之间的依赖关系，并根据通道数和系数自适应计算卷积核大小，从而使注意机制更加轻量级。
迁移学习策略：在有限样本的情况下，引入了迁移学习来提取特征。该策略能够针对未经训练的工作条件和组件进行高精度的故障诊断，扩展了迁移学习的应用范围，并且在不同工作条件和组件之间具有良好的泛化能力。

实验：

实验验证了EfficientNetV2网络与LECA集成的故障诊断效果，并与SE、ECA相比较和分析。
使用东南大学的齿轮箱数据集进行了故障诊断实验验证，数据集包括轴承和齿轮数据集。
参数设置方面，实验在ubuntu18.04操作系统下运行，应用Python3.8和Pytorch1.8框架，使用了Intel (R) Xeon(R) Gold6330处理器和NVIDIA GeForce RTX3090 GPU的计算机。

基于图神经网络的迁移学习框架

方法：通过利用CCDC数据集生成一个基础化学模型，然后对其进行微调，用于预测化合物的毒性、反应产率和气味。作者使用了CCDC的晶体结构数据，构建了一个基于图的模型，并通过训练一个大型传递神经网络来预测分子的键长和键角。然后，利用这个基础模型进行微调，用于预测其他化学任务。

创新点：

作者提出了一个基于迁移学习的通用化学模型，可以预测化合物的毒性、钯催化交叉偶联收率和分子香味。
作者使用Cambridge Crystallographic Data Centre (CCDC)的近1百万个有机晶体结构训练了基础模型，并证明该模型在毒性预测、收率预测和香味预测等化学相关任务上的性能优于其他机器学习技术和深度学习模型。
作者通过将基础模型的输出层替换为新的未训练的前馈神经网络，实现了快速而轻松地将基础模型转化为适用于其他化学任务的微调模型。

实验：

方法：开发一种能够利用群等变性的预训练模型的高效迁移学习算法λ-equitune，通过学习特征的重要性权重，对特征进行加权平均。作者还提出了一种特殊情况的算法equizero，通过优化代理损失函数来获得等变输出。

创新点：

实验：

方法：论文介绍一种基于物理信息神经网络的方法，用于解决工程结构中的逆问题。通过将物理定律嵌入到损失函数中，使得PINNs能够解决偏微分方程（PDEs）。作者还提出了一种多任务学习方法，使用不确定性加权来提高PINNs在线性弹性和超弹性逆问题中的训练效率和准确性。

创新点：

实验：

通过三个基准测试案例验证了所提出方法的有效性，包括预测厚弹性圆柱体内部压力、预测受均匀线载荷作用的正方形超弹性板的载荷，以及预测受拉伸载荷作用的3D弹性梁的载荷。
结果表明，即使在存在噪声的数据情况下，PINN模型仍然能够获得满意的结果，这归功于物理定律的双重正则化和先验知识。
所提出的方法能够桥接不同结构和加载场景之间的差距，并通过层冻结和多任务权重继承加速训练收敛。