Semantic-SAM可以做什么：

整合了七个数据集：

一般的分割数据集，目标级别分割数据集：MSCOCO, Objects365, ADE20k

部分分割数据集：PASCAL Part, PACO, PartImagenet, and SA-1B

The datasets are SA-1B, COCO panoptic, ADE20k panoptic, PASCAL part, PACO, PartImageNet, and Objects365

COCO 和 ADE20k 有目标级别mask和类别标签的全景分割数据集；PASCAL part, PACO, and PartImageNet 部分分割的masks和类别标签. SA-1B 包括 6-level masks without labels； Objects365 有大量目标实例类别标签。

Semantic-SAM

支持point and box

把输入的点和坐标统一成形式：(x, y)-->(x, y, w, h)，w, h非常小。

b = (x, y, w, h)

一个点击或者box，编码为一个位置向量和K（K=6）个内容向量（查询向量）Q = (q1, · · · , qK)。

输入坐标、图片特征、内容查询向量，得到每个查询的输出查询特征。

训练：

目标级别分割和部分分割解耦：

不同数据集对应的损失项：

训练时和GT匹配问题;

SAM是多对一的，即三个SAM预测masks只对应一个GT mask。

对同一点击位置的不同GT masks聚类，然后使用Hungarian algorithm多对多匹配。

相似性矩阵和分数根据不同分割数据成分的可用性而变化。

结果：