在之前的文章中，我对iTransformer的Paper进行了详细解析，具体文章如下：
文章链接：深度解析iTransformer：维度倒置与高效注意力机制的结合
今天，我将对iTransformer代码进行解析。回顾Paper，我们知道iTransformer通过简单地将注意力机制和前馈网络应用于倒置的维度上。具体而言，单个序列的时间点被嵌入为变量令牌（variate tokens），并利用注意力机制捕捉变量间的相关性；同时，前馈网络被应用于每个变量令牌，以学习非线性表示。
iTransformer 整体架构如下图所示，采用了 Transformer（Vaswani et al., 2017）的仅编码器（encoder-only）架构，包括嵌入层、投影层和 Transformer 块。接下来，我们看看每个模块是如何通过代码实现的。
1. 嵌入层
import torch
import torch.nn as nnclass DataEmbedding_inverted(nn.Module):"""该类用于数据嵌入（Embedding），适用于时间序列建模或其他需要将输入转换为高维表示的任务。它通过线性变换将输入数据映射到 `d_model` 维度，并可选地结合额外的时间信息进行处理。参数：- c_in (int): 输入特征的维度（即变量数）。- d_model (int): 目标嵌入维度（即转换后的特征维度）。- embed_type (str, 可选): 嵌入类型，当前代码未使用该参数，默认值为 'fixed'。- freq (str, 可选): 频率信息（如 'h' 代表小时级别），当前代码未使用该参数。- dropout (float, 可选): Dropout 比例，控制神经元随机失活的概率，以防止过拟合。"""def __init__(self, c_in, d_model, embed_type='fixed', freq='h', dropout=0.1):super(DataEmbedding_inverted, self).__init__()# 线性映射层：将输入数据从 `c_in` 维度投影到 `d_model` 维度self.value_embedding = nn.Linear(c_in, d_model)# Dropout 层：用于在训练时随机丢弃部分神经元，以增强模型的泛化能力self.dropout = nn.Dropout(p=dropout)def forward(self, x, x_mark):"""前向传播函数，将输入 `x` 及可选的时间标记 `x_mark` 进行处理，返回嵌入后的表示。参数：- x (Tensor): 输入数据，形状为 [Batch, Time, Variate]，其中：- Batch: 批量大小- Time: 时间步数- Variate: 变量数（即 `c_in`）- x_mark (Tensor 或 None): 时间标记信息，形状为 [Batch, Time, Extra_Features]，如果为 None，则仅使用 `x` 进行嵌入。返回：- Tensor: 经过嵌入和 Dropout 处理后的数据，形状为 [Batch, Variate, d_model]。"""# 交换 `Time` 和 `Variate` 维度，调整形状以适配后续处理x = x.permute(0, 2, 1) # 变换后形状：[Batch, Variate, Time]if x_mark is None:# 仅使用输入数据 `x` 进行嵌入x = self.value_embedding(x)else:# 如果提供了 `x_mark`，先调整其形状，再与 `x` 拼接后进行嵌入x = self.value_embedding(torch.cat([x, x_mark.permute(0, 2, 1)], dim=1))# 经过 Dropout 处理后返回最终的嵌入表示return self.dropout(x)完整文章链接：AI时序预测: iTransformer算法代码深度解析
