Non-stationary Transformer 概念笔记

精读范围

轻量概念笔记：只关注 Non-stationary Transformer 的核心创新——De-stationary Attention。 不做完整 BFS 分层。Encoder/Decoder/DataEmbedding 骨架与 Autoformer/Informer 相同，不重复。

---

一、它解决什么问题

Phase 1 因果链中的位置：

Informer → O(L²) 太慢           → ProbSparse
Autoformer → 忽略周期/趋势       → Auto-Correlation + 分解
FEDformer → 分解缺全局频域视野   → 频域注意力
Non-stationary → "前面所有模型都对输入做了归一化
                   （减均值除标准差），但这损失了
                   非平稳分布信息"
               → 在注意力机制内部恢复非平稳性

过平稳化（Over-stationarization）问题：

标准深度学习时序模型在预处理时对输入做 Instance Normalization：

$${\hat{x}}_t=\frac{x_t-\mu }{\sigma }$$

这样做使训练更稳定，但代价是：

• 丢失了均值 $\mu$（趋势信息）
• 丢失了方差 $\sigma$（波动幅度信息）
• 归一化后的序列可能看起来比原始序列更"平稳"，模型无法感知真实的分布变化

典型症状：在测试集分布漂移时，归一化丢失的信息导致模型无法适应变化。

---

二、核心创新：De-stationary Attention

图解 — DSAttention 公式对比（标准 vs De-stationary）：

2.1 标准注意力 vs DSAttention 的公式差别

标准 Scaled Dot-Product Attention：

$${\text{score}}_{BHls}=\frac{Q_{Blh}\cdot K_{Bsh}^T}{\sqrt{E}}$$$$A=\text{softmax}(\text{score})$$

DSAttention（De-stationary Attention）：

$${\text{score}}_{BHls}=\frac{Q_{Blh}\cdot K_{Bsh}^T}{\sqrt{E}}\cdot {\tau }_B+{\delta }_{Bs}$$$$A=\text{softmax}(\text{score})$$

代码实现（SelfAttention_Family.py，DSAttention.forward()）：

scores = torch.einsum("blhe,bshe->bhls", queries, keys)
# ...（scale 和 mask）
A = self.dropout(torch.softmax(scale * scores * tau + delta, dim=-1))
V = torch.einsum("bhls,bshd->blhd", A, values)

其中：

• scores shape: (B, H, L, S)
• tau shape: (B, 1, 1, 1) — 标量，对整个 attention map 做乘法缩放
• delta shape: (B, 1, 1, S) — 向量，对每个 key 位置 s 做加法偏移

2.2 tau 和 delta 的直觉

$\tau$（tau，尺度因子）：

$$\tau =\text{MLP}(x_{\text{raw}},{\sigma }_{\text{enc}}).\exp ()$$

• 从原始信号（归一化前）和标准差 $\sigma$ 中学出一个正标量
• 乘在注意力分数上，相当于调整 softmax 的"温度"：$\tau >1$ 使分布更尖锐，$\tau <1$ 使分布更均匀
• 直觉：原始信号的波动幅度（$\sigma$）影响注意力集中程度——波动大的序列需要更集中的注意力

$\delta$（delta，偏移因子）：

$$\delta =\text{MLP}(x_{\text{raw}},{\mu }_{\text{enc}})$$

• 从原始信号和均值 $\mu$ 中学出一个 shape 为 (B, seq_len) 的向量
• 加在注意力分数的 key 维度上，相当于为每个 key 位置引入可学习的注意力偏置
• 直觉：原始信号的趋势（$\mu$）影响"应该关注序列的哪个部分"——趋势上升时可能需要更关注近期

与 iTransformer 的 .detach() 对比：

模型	均值/方差的处理	目的
iTransformer	means = x.mean().detach()	梯度不流回统计量，防止梯度绕过归一化
Non-stationary	mean_enc.detach() + Projector 学出 tau/delta	主动恢复非平稳信息，不只是截断梯度

iTransformer 的 .detach() 只是防止梯度问题；Non-stationary 的设计更激进——用 Projector 把统计量重新注入注意力计算中。

---

三、Projector：从统计量学习 tau/delta

class Projector(nn.Module):
    def __init__(self, enc_in, seq_len, hidden_dims, hidden_layers, output_dim, kernel_size=3):
        super(Projector, self).__init__()
        padding = 1 if torch.__version__ >= "1.5.0" else 2
        self.series_conv = nn.Conv1d(
            in_channels=seq_len, out_channels=1,
            kernel_size=kernel_size, padding=padding,
            padding_mode="circular", bias=False,
        )
        layers = [nn.Linear(2 * enc_in, hidden_dims[0]), nn.ReLU()]
        for i in range(hidden_layers - 1):
            layers += [nn.Linear(hidden_dims[i], hidden_dims[i + 1]), nn.ReLU()]
        layers += [nn.Linear(hidden_dims[-1], output_dim, bias=False)]
        self.backbone = nn.Sequential(*layers)

    def forward(self, x, stats):
        # x:     B × S × E   (原始信号)
        # stats: B × 1 × E   (均值或标准差)
        batch_size = x.shape[0]
        x = self.series_conv(x)          # (B, S, E) → Conv1d → (B, 1, E)
        x = torch.cat([x, stats], dim=1) # (B, 1, E) cat (B, 1, E) → (B, 2, E)
        x = x.view(batch_size, -1)       # → (B, 2E)
        y = self.backbone(x)             # → (B, output_dim)
        return y

shape 追踪（toy：B=2, enc_in=3, seq_len=12, hidden_dims=[128], hidden_layers=1）：

输入 x_raw:  (2, 12, 3)   ← 原始信号（归一化前）
输入 stats:  (2, 1, 3)    ← mean_enc 或 std_enc

series_conv: Conv1d(in_channels=seq_len=12, out_channels=1, kernel_size=3)
  x_raw (2,12,3) → Conv1d 的 channel 轴是 seq_len 维，length 轴是 enc_in 维
  输出 (2, 1, 3)    ← 把 12 个时间步"压缩"成 1 个

torch.cat([x, stats], dim=1):
  (2,1,3) cat (2,1,3) → (2, 2, 3)

view(batch_size, -1):
  (2, 2, 3) → (2, 6)   = (B, 2×enc_in)

backbone MLP: Linear(6→128) → ReLU → Linear(128→output_dim)
  tau_learner: output_dim=1 → (2, 1)
  delta_learner: output_dim=seq_len=12 → (2, 12)

为什么 Conv1d 的 in_channels=seq_len？

PyTorch Conv1d 期望输入 (B, C, L) 格式，C 是 channel，L 是 length。这里 x_raw 是 (B, seq_len, enc_in)，直接传入时 seq_len 对应 C（"12 个通道"），enc_in 对应 L（"长度=3 的卷积"）。kernel_size=3 则跨越所有 3 个变量，out_channels=1 将 12 个时间步信息压成一个摘要向量。这是一种非常见的 Conv1d 用法——把时间轴当作 channel，把变量轴当作 spatial，从而聚合全序列的时序信息。

---

四、forecast() 完整流程

整体架构流（mermaid）：

整体架构流 SVG：

forecast() 关键行注解

def forecast(self, x_enc, x_mark_enc, x_dec, x_mark_dec):
    x_raw = x_enc.clone().detach()      # ① 保存原始值（梯度截断）

    # ② 标准 Instance Norm
    mean_enc = x_enc.mean(1, keepdim=True).detach()
    x_enc = x_enc - mean_enc
    std_enc = torch.sqrt(torch.var(x_enc, dim=1, keepdim=True, unbiased=False) + 1e-5).detach()
    x_enc = x_enc / std_enc

    # ③ 从原始值和统计量学 tau / delta
    tau = self.tau_learner(x_raw, std_enc).exp()    # (B, 1) → exp 保证正
    delta = self.delta_learner(x_raw, mean_enc)     # (B, seq_len)

    # ④ Decoder 输入（同 Autoformer）
    x_dec_new = torch.cat([x_enc[:, -self.label_len:, :],
                            torch.zeros_like(x_dec[:, -self.pred_len:, :])], dim=1)

    # ⑤ Encoder + Decoder，tau 和 delta 注入注意力
    enc_out = self.enc_embedding(x_enc, x_mark_enc)
    enc_out, attns = self.encoder(enc_out, attn_mask=None, tau=tau, delta=delta)
    dec_out = self.dec_embedding(x_dec_new, x_mark_dec)
    dec_out = self.decoder(dec_out, enc_out, x_mask=None, cross_mask=None, tau=tau, delta=delta)

    # ⑥ 反归一化
    dec_out = dec_out * std_enc + mean_enc
    return dec_out

tau 和 delta 的 shape 适配：

Encoder 和 Decoder 的 DSAttention 调用时：

• tau shape: (B, 1) → 在 DSAttention 内扩展为 (B, 1, 1, 1) 使广播正确
• delta shape: (B, seq_len) → 在 DSAttention 内扩展为 (B, 1, 1, S) 匹配 score 的 S 维

具体的 reshape 发生在 Encoder/Decoder 传递给 EncoderLayer 的过程中（通过 tau, delta 参数链传递）。

---

五、在 Phase 1 叙事中的位置

问题	模型	解决方案
O(L²) 太慢	Informer	ProbSparse → O(L log L)
忽略周期/趋势	Autoformer	Auto-Correlation + series_decomp
局部分解缺全局频域	FEDformer	频域稀疏注意力
归一化丢失非平稳信息	Non-stationary	tau/delta 从原始统计量恢复

Non-stationary 的问题意识可以和 iTransformer 的 Instance Norm 做对比：两者都意识到归一化会丢失信息，但 Non-stationary 用可学习的 Projector 主动恢复，iTransformer 只用 .detach() 做梯度隔离。

检验理解

1. tau 乘在 score 上，delta 加在 score 上——分别影响 softmax 的什么？（尖锐度 vs 偏置方向）
2. Projector 里 Conv1d 的 in_channels=seq_len 是什么意思？为什么不用 Linear 直接处理时间轴？
3. Non-stationary 和 DUET（Phase 4）都在处理分布问题——有什么本质区别？

---

创建：2026-04-24 · 精读范围：De-stationary Attention 概念（概念笔记）