联邦协作训练大模型的一些研究进展：
架构与框架创新
- 凝聚联邦学习框架：中科院计算所等团队提出的凝聚联邦学习框架，借助端边云协同，通过桥接样本在线蒸馏协议，组织树状拓扑的算力网，实现不同层级节点间模型无关的协同训练，使各层级可依本地算力训练合适模型，云端最终集成知识训练超大模型，且节点可灵活切换父节点，提升了模型精度与收敛性.
- FATE-LLM架构：采用先进分布式训练框架，能在不共享原始数据的情况下进行模型训练与推理，有效保护数据隐私，结合多种隐私保护技术，如差分隐私等，进一步降低信息泄露风险.
训练方法改进
- 面向大模型神经架构搜索的联邦协同训练方法：在云端进行神经架构搜索，将大模型拆分为残差块作为搜索空间拼凑最优架构，再切分为适合边缘设备的小模型分配训练，通过距离聚合与知识蒸馏聚合参数至云端，并设计节能机制调整边缘设备训练迭代次数加速收敛&#
