目录
- 1 三种多头编码（MHE）实现
- 1.1 多头乘积（MHP）
- 1.2 多头级联（MHC）
- 1.3 多头采样（MHS）
- 1.4 标签分解策略
论文：Multi-Head Encoding for Extreme Label Classification
作者：Daojun Liang, Haixia Zhang, Dongfeng Yuan and Minggao Zhang
单位：山东大学
代码：https://github.com/Anoise/MHE
论文地址：Online，ArXiv，GItHub
背景动机参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 1
基础知识参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 2
算法实现参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 3
表示能力参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4
实验结果参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 5
无需预处理见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 6
请各位同学给我点赞，激励我创作更好、更多、更优质的内容！^_^
关注微信公众号，获取更多资讯
1 三种多头编码（MHE）实现
现在，我们考虑具体化的算法实现，以使MHE适用于各种XLC任务。具体地说，将MHP应用于xsl以实现多头并行加速。在XMLC中使用MHC来防止多个类别之间的混淆，在模型预训练中使用MHS来有效地提取特征，因为该任务不需要分类器。然后，我们提供了一种策略来确定头像的数量和长度。
图 3 ： XLC 任务的三个基于 MHE 的训练和测试流程。红色虚线框表示的部分是为了便于理解，实际中并不需要。
1.1 多头乘积（MHP）
根据推论1，输出可以分解为头部的乘积，这为使用MHP代替普通分类器来训练模型铺平了道路。
如3-a所示，在训练过程中，需要将全局标签 Y i Y_i Yi分配给每个头部，进行局部损失计算。因此，我们首先对 Y i Y_i Yi执行OHE，然后根据头部的长度将其重塑为 H H H阶张量 Y i 1 , . . . , H \mathcal{Y}_i^{1,...,H} Yi1,...,H。最后，将 Y i 1 , . . . , H \mathcal{Y}_i^{1,...,H} Yi1,...,H分解为每个头部上的本地标签 { Y i h } h = 1 H \{Y_i^h\}_{h=1}^H {Yih}h=1H。由于one-hot编码 Y i Y_i Yi的分解仅取决于头部的数量和顺序，因此可以递归地计算为
其中 j j j和 k k k为分类头的索引。
在测试期间，必须从局部预测中恢复全局预测。如图3-a所示，我们首先对每个头部执行 I Λ \mathbb{I}_{\varLambda} IΛ，以获得局部预测的标签。然后，通过对每个头部执行乘积并对最终输出应用Argmax来获得全局预测 Y ~ i \tilde{Y}_i Y~i。为了加快这一过程，根据定理1，我们从局部预测和后续正面的长度计算 Y ~ i \tilde{Y}_i Y~i，为
Y ~ i = ∑ k = 1 H − 1 Λ ( O k ) ∏ j = k + 1 H ∣ O j ∣ + Λ ( O H ) . ( 11 ) \tilde{Y}_i = \sum_{k=1}^{H-1} \varLambda(\bm{O}^k) \prod_{j=k+1}^H |\bm{O}^j| + \varLambda(\bm{O}^H). \qquad (11) Y~i=k=1∑H−1Λ(Ok)j=k+1∏H∣Oj∣+Λ(OH).(11)
MHP的算法伪代码见附录E-1。它可以用于许多xsl任务，如图像分类、人脸识别等。
1.2 多头级联（MHC）
对于XMLC，每个示例 X i \bm{X}_i Xi对应于多个标签 Y ˉ i ∈ { 0 , 1 } C \bar{\bm{Y}}_i \in \{0,1\}^{C} Yˉi∈{0,1}C，因此分类器的输出需要执行多热编码和Top- K K K选择，如 Y ~ i = Top- K ( O ˉ ) \tilde{Y}_i = \text{Top-}K(\bar{\bm{O}}) Y~i=Top-K(Oˉ)。在XMLC中不能直接采用MHP。这是因为MHP中的每个头只预测一个标签。如果用于多标签预测，则在计算局部预测的乘积时将导致不匹配。为了解决多标签场景下MHP的不匹配问题，提出了MHC，它将多个头部级联用于模型训练和测试。
如图3-b所示，在训练过程中，MHC的标签分解过程与MHP相同。在测试期间，选择输出的顶级 K K K激活。然后，通过预定义的候选集 C 1 \mathbb{C}^1 C1获得该头部的局部预测，并采用该候选集表示后续头部的标签集，方便检索，减少计算量。 h h h\text{-}头的最终输出 O ~ h \tilde{\bm {O}}^h O~h由嵌入的 Y ~ h − 1 \tilde{\bm{Y}}^{h-1} Y~h−1和当前输出 O h \bm{O}^h Oh的乘积得到。然后，根据 O ~ h \tilde{\bm {O}}^h O~h的前 K K K激活项，从 C h \mathbb{C}^h Ch中选择 Y ~ h \tilde{\bm {Y}}^h Y~h。重复此过程，直到获得 Y ~ H \tilde{\bm {Y}}^H Y~H的标签为
其中 i h = ∏ j = 1 h ∣ O j ∣ \ i_h = \prod_{j=1}^h |\bm{O}^j| ih=∏j=1h∣Oj∣, E h \mathbb{E}^h Eh为 h h h\text{-}头的嵌入层， C [ 1 , . . . , i h + 1 ] ( i h , ∣ O h + 1 ∣ ) \mathbb{C}_{[1,...,i_{h+1}]}^{(i_h,|\bm{O}^{h+1}|)} C[1,...,ih+1](ih,∣Oh+1∣)为元素为 1 1 1 ～ i h + 1 i_{h+1} ih+1，形状为 ( i h , ∣ O h + 1 ∣ ) (i_h, |\bm{O}^{h+1}|) (ih,∣Oh+1∣)的索引矩阵。由公式12可知，MHC是一种由粗到精的分层预测方法，它依次从前一个头部中选择Top- K K K候选标签。请注意，MHC仅依赖于Eq. 10进行标签分解，不需要HLT或标签聚类等预处理技术。MHC的算法伪代码见附录E-2。
1.3 多头采样（MHS）
对于模型预训练任务，训练完成后丢弃香草分类器，只采用模型提取的特征 F \bm F F对下游任务进行微调。因此，需要训练分类器中权值的所有参数来提取更多的判别特征，但是训练权值的所有参数计算开销很大。因此，提出MHS通过选择地面真值标签所在的头部来更新模型参数。
如图3-c所示，MHS将原始分类器平均分为 H H H组，使 O = ∑ h H ∣ O h ∣ \bm{O} = \sum_h^H |\bm{O}^h| O=∑hH∣Oh∣。训练时，选择标签 Y i Y_i Yi所在的头部进行模型训练，称为正头部。当然，我们也可以随机选择几个负头像一起训练模型，从而使模型具有更多的负样本信息。 O h {\bm O}^{h} Oh的MHS正演过程可表示为
O h = O h ∪ { O j } = W h F ∪ { W j } F , ( 13 a ) Y h = Y h ∪ { 0 } = Y [ ∣ O h − 1 ∣ : ∣ O h ∣ ] ∪ { 0 } , ( 13 b ) \bm{O}^h = \bm{O}^h \cup \{\bm{O}^j\} = \mathcal{W}^h\bm{F} \cup \{\mathcal{W}^j\}\bm{F}, \qquad \quad \ \ \ \ (13a) \\ \bm{Y}^h = \bm{Y}^h \cup \{0\} = \bm{Y}[|\bm{O}^{h-1}|:|\bm{O}^{h}|] \cup \{\bm{0}\}, \qquad (13b) Oh=Oh∪{Oj}=WhF∪{Wj}F, (13a)Yh=Yh∪{0}=Y[∣Oh−1∣:∣Oh∣]∪{0},(13b)
其中 { O j } \{\bm{O}^j\} {Oj}和 { W j } \{\mathcal{W}^j\} {Wj}分别表示负头的输出和权重集， ∪ \cup ∪表示串联操作。等式13-b表示用 0 \bm 0 0 s填充 Y h \bm{Y}^h Yh以对齐 O h \bm{O}^h Oh的长度，其中 ∣ O h ∣ = 0 |\bm{O}^h|=0 ∣Oh∣=0表示 h = 0 h=0 h=0。
式13中的方法可以表示为MHS- S S S，其中 S S S为所选头像的个数。我们的实验表明MHS- 1 1 1（仅正样本）在模型预训练上取得了很好的效果。对于 S = 2 S=2 S=2， MHS近似或优于香草分类器。为了加快MHS的速度，在同一批次中选择含有其他样品标签的头作为阴性头。MHS的算法伪代码见附录E-3。
1.4 标签分解策略
到目前为止，我们已经介绍了三种MHE算法，其实现取决于头的数量和长度。因此，在本小节中，我们引入误差积累和混淆度的概念来衡量头部数量和长度对基于mhe的算法性能的影响。
头的数量： 带 H H H头的MHE的近似过程可表示为
O ≈ O 1 ⊗ O ~ 2 ≈ O 1 ⊗ O 2 ⊗ O 3 ~ ⏟ ≈ O ~ 2 ≈ O 1 ⊗ O 2 ⊗ ⋯ ⊗ O H ⏟ ≈ O ~ H − 1 . ( 14 ) {\bm O} \approx {\bm O}^1 \otimes \tilde{\bm O}^2 \approx {\bm O}^1 \otimes \underbrace{{\bm O}^2 \otimes \tilde{{\bm O}^3}}_{\approx \tilde{\bm O}^2} \approx {\bm O}^1 \otimes {\bm O}^2 \otimes \underbrace{\cdots \otimes {\bm O}^H}_{\approx \tilde{\bm O}^{H-1}}. \qquad (14) O≈O1⊗O~2≈O1⊗≈O~2 O2⊗O3~≈O1⊗O2⊗≈O~H−1 ⋯⊗OH.(14)
如等式14所示，增加一个头部相当于又累积了一个时间误差。虽然增加头的数量会显著减少分类器的参数和计算量，但也会导致更大的累积误差。因此，在计算资源和运行速度允许的情况下，应尽量减少分类头的数量。
头的长度：混淆度是当采用MHE来近似原始标签空间时由共享组件引起的不匹配的度量。它与近似误差成正比，如下所示
D = m a x π ( O 1 , ⋯ , O H ) ( ∏ h = 2 H ∏ k = h H ∣ O k ∣ ∣ O k − 1 ∣ ) , ( H ≥ 2 ) , ( 15 ) D = \mathop{max}\limits_{\pi({\bm O}^1, \cdots, {\bm O}^H)} \left ( \prod_{h=2}^H \frac{\prod_{k=h}^H |{\bm O}^k|}{|{\bm O}^{k-1}|}\right ), \ \ (H \ge 2), \qquad (15) D=π(O1,⋯,OH)max(h=2∏H∣Ok−1∣∏k=hH∣Ok∣), (H≥2),(15)
其中 π \pi π是正面的排列策略。希望 D D D的值尽可能小。由于 π \pi π依赖于具体的分解过程，我们详细分析了MHE不同算法的混淆程度。因此，
- 对于MHP，由于磁头是平行的，需要组合，因此混淆程度与磁头的排列无关。也就是说，等式15中的 m a x max max可以在头的长度按升序排列时删除。因此，我们得出结论，MHP中每个头部的长度应尽可能一致，以最小化 D D D，即 ∣ O h ∣ ≈ C H |{\bm O}^h| \approx \sqrt[H]{C} ∣Oh∣≈HC。
- 对于MHC，由于头部是顺序级联的，我们可以选择一个更好的策略 π \pi π最小化 D D D。显然，当 π \pi π按降序排列（ ∣ O 1 ∣ ≥ ⋯ ≥ O H |{\bm O}^1| \ge \cdots \ge {\bm O}^H ∣O1∣≥⋯≥OH）时， D D D是最小的。
- 对于MHS，这些多个磁头是相互关联的，需要组合（与 m a x max max操作无关）。也就是说，我们可以选择与MHC相同的策略来最小化D。
背景动机参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 1
基础知识参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 2
算法实现参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 3
表示能力参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4
实验结果参见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 5
无需预处理见 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 6
