FedoSSL

题目：《Towards Unbiased Training in Federated Open-world Semi-supervised》

来源：ICML2023

注意比较与 ORCA 的区别

Abstract

联邦半监督学习（FedSSL）已经成为一种新范式，允许分布式客户端在稀缺的标记数据和丰富的未标记数据上协作训练机器学习模型。然而，现有的 FedSSL 工作依赖于一个 封闭世界 的假设，即所有的本地训练数据和全局测试数据都来自标记数据集中观察到的类别。向更进一步发展至关重要：使 FL 模型适应开放世界设置，即未标记数据中存在未见过的类别（unseen classes）

在本文中，我们提出了一个新的联邦开放世界半监督学习（FedoSSL）框架，它可以解决分布式和开放世界设置中的关键挑战，即异构分布的未见过类别的有偏训练过程。具体来说，由于某种未见过的类别的出现取决于客户端，因此在多个客户端中存在的本地未见过的类别（Locally Unseen Classes）可能比只在一个客户端中存在的全局未见过的类别（Globally Unseen Classes）获得不同的、更优越的聚合效果。我们采用 不确定性感知的抑制损失 来减轻本地未见过和全局未见过类别之间的有偏训练

类似于 ORCA 的 不确定性自适应边

不确定性自适应边界用来 减少已知和新类别的类内方差之间的差距

此外，我们通过补充一个 校准模块 来启用全球聚合，以避免由于不同客户端间不一致的数据分布而在知识转移过程中可能产生的潜在冲突。提出的 FedoSSL 可以轻松适应最新的 FL 方法，这也通过在基准测试和真实世界数据集（CIFAR-10、CIFAR-100 和 CINIC-10）上的广泛实验得到了验证

Introduction

标记数据的稀缺性和非标记数据的丰富性促成了联邦半监督学习（FedSSL）的出现，它可以同时利用标记和非标记数据来优化分布式环境中的全局模型。现有的 FedSSL 方案已经证明了基于客户端或服务器端少量标记数据训练模型的能力。然而，这些工作依赖于封闭世界假设，即 所有本地训练数据和全局测试数据都来自标记数据集中包含的相同类别集，这在实际场景中往往是无效的。相比之下，开放世界设置允许新类别的发现，因此在野外数据中很常见，例如在医学图像分类任务中，一些疾病自然稀缺，以前从未标记过，而模型可能需要既能将图像分类为预定义类型（已知类别），又能发现新的未知疾病（未知类别）。因此，出现了一个新的基本问题：如何在开放世界设置下，通过分布式数据协作训练模型，以实现对已知和未知类别的分类？

为此，我们 首先构建了一个新的 FedSSL 基准，将传统的封闭世界训练框架扩展到开放世界设置。令人惊讶的是，研究表明，由于训练过程中未标记数据中存在未知类别，导致性能显著下降。尽管一些工作探讨了未知类别问题，以避免将来自未知类别的未标记样本错误分类为已知类别，同时减轻已知和未知类别之间的不良性能差距，但尚无文献考虑分布式环境中的这一问题。随着多个参与者的加入，问题定义不同，即一个客户端中的一些未知类别可能从全局视角来看存在于其他客户端，因此需要对不同类型的样本/类别进行新的细粒度定义以及训练机制。值得一提的是，由于不同客户端间类别的异构分布，按照传统的 FL 机制简单地聚合参数可能会导致拥有不同未知类别的客户端之间的有偏训练过程

为应对上述挑战，本文提出了一个全新的联邦开放世界半监督学习框架（FedoSSL），它能够实现不同类型样本之间的无偏训练过程。具体来说，本地客户端中的未知类别首先被重新定义为局部未知类别 和 全局未知类别。然后，我们设计了一个不确定性感知的抑制损失，以适应性地控制局部和全局未知类别之间的不良训练发散，即局部未知类别通常由于跨客户端协作而比全局未知类别具有更高的训练效率。此外，考虑到不同客户端间未知类别的异构分布导致聚合阶段潜在的知识转移冲突，我们引入了一个校准模块，以产生相应的全局中心，以便在每个客户端上进行专门的本地调整。我们展示了我们的方法在开放世界设置下与广泛使用的模型（即 ResNet-18）和下游任务（即 CIFAR-10、CIFAR-100、CINIC-10）相比，与最先进的基线相比，显著提高了模型的准确性

本文的贡献总结如下：

据我们所知，我们是第一个考虑 FedSSL 中开放世界设置的人，其中未标记数据中存在未知类别，由于未知类别的异构分布而具有挑战性
我们设计了一个全新的 FedoSSL 框架，它可以在不同类型的类别（即局部未知和全局未知类别）之间实现无偏学习，并在异构数据分布下进行校准的知识聚合
我们在三个典型的图像分类任务上进行了广泛的实验。实证评估显示，FedoSSL 的性能优于最先进的方法

图1: 提出的FedoSSL算法框架。流程：每个客户端首先在私有数据集上执行本地训练，经过几个周期（例如，通过优化公式(1)中的损失函数），然后通过基于Sinkhorn-Knopp的聚类算法（Genevay等人，2019）计算本地中心。将模型参数和本地中心上传到服务器。服务器执行标准的模型聚合。服务器再次使用Sinkhorn-Knopp聚类来获得全局中心。将全局模型和全局中心返回给客户端，客户端使用它们进行本地训练。

Related Work

Methodology

Preliminary and Problem Definition

我们专注于开放世界设置中的联邦半监督学习，其中每个客户端的数据都是 部分标记 的，并且标记数据和未标记数据的类别不同，即未标记数据中存在未知类别（unseen classes）

假设有个客户端每个客户端持有一个包含标记部分和未标记部分的私有分类数据集，其中。整个标记和未标记数据集可以分别表示为和

我们记在全部标记数据中已知类别集为，未标记测试数据中的类别集为，与传统的（封闭世界）FedSSL 不同，后者

本文我们考虑，并记，

分别为已知类和未知类的集合

FedSSL 的目标是在多个分散的客户端中训练一个泛化的全局模型，参数为，即

其中

是总数据量

是客户端的损失函数

具体来说，模型可以分解为：

一个特征提取器，参数为，用于学习低维特征

一个分类器，参数为

每个客户端上的半监督学习算法的训练损失通常包括：

半监督损失

无监督损失，权重参数，

通常，对标记实例应用 标准交叉熵损失

其中，表示模型对输入产生的预测概率

是交叉熵函数

对于无监督损失，有两种典型形式：

基于标记数据的伪标签、基于数据增强的一致性正则化

然而在开放世界设置中，由于存在未知类别，上述方法无法对已知和未知类别进行分类。因此类似于 ORCA（Cao 等人，2022）和 NACH（Guo 等人，2022），我们使用 成对目标 作为未标记数据的无监督损失对未知类别进行分类

其中，和分别是标记和未标记数据的全部特征集，是在小批量中的 最近集，通过计算所有特征表示对的余弦距离来计算

Cao, K., Brbic, M., and Leskovec, J. Open-world semi-supervised learning. In International Conference on Learning Representations, 2022. URL https://openreview.net/forum?id=O-r8LOR-CCA.

Guo, L.-Z., Zhang, Y.-G., Wu, Z.-F., Shao, J.-J., and Li,Y.-F. Robust semi-supervised learning when not all classes have labels. In Oh, A. H., Agarwal, A., Bel-grave, D., and Cho, K. (eds.), Advances in Neural In-formation Processing Systems, 2022. URL https://openreview.net/forum?id=lDohSFOHr0.