Skip to content

模型精读 Roadmap

Abstract

这篇回答:

在已经学完 TFB 主线框架之后,模型精读这一阶段应该怎么推进。

1. 当前阶段判断

你现在不再处于“理解 benchmark 怎么跑”的阶段。

你现在的阶段是:

固定框架入口,系统精读代表模型。

也就是:

  • 外层框架主线已经有了
  • _eval_batch 这层协议也已经固定了
  • 现在开始真正进入:
    • 模型主链
    • 论文理论
    • 代码对象

2. 这一阶段的目标

不是“看很多模型”,而是:

用最少的代表模型,建立稳定的论文 - 代码 - 框架映射能力。

如果这一步做不好,后面你去:

  • 改模型
  • 做实验
  • 找研究问题

都会虚。

3. 路线的总原则

原则 1:框架入口固定

所有模型精读都建立在同一条真实入口上:

text
run_benchmark
-> pipeline
-> eval_model
-> RollingForecast._eval_batch
-> fit_method / batch_forecast
-> _process
-> model.forward

原则 2:先模型主链,后细节模块

先搞清:

  • forward(...)
  • 主分支
  • 输入输出

再下钻:

  • embedding
  • encoder
  • decoder
  • attention

原则 2.5:先图,再代码;代码和例子一起讲

每一层都固定这个顺序:

  1. 顺序图
  2. 分层树图
  3. 完整代码
  4. 带中文注释的代码
  5. toy example
  6. 参数与 tensor 映射

原则 3:先最小对照,再横向扩张

先学:

  • DLinear
  • Informer

再学:

  • PatchTST
  • iTransformer
  • Autoformer

原则 4:每个模型都要回到 TFB 坐标

不能只懂模型内部,也要知道:

  • 在 benchmark 哪一层开始分叉
  • adapter 给它什么输入
  • 它如何回到统一监督接口

4. 三层数据规模

L1 微型假数据

目的:

  • forward(...)
  • 学 shape
  • 学模块顺序

L2 一批真实 TFB 数据

目的:

  • 学模型如何接入真实框架
  • _process(...) -> model.forward(...)

L3 完整 benchmark

目的:

  • 学模型在完整外层里的真实位置
  • 做最小模型对照实验

5. 当前模型顺序

第一阶段:建立最小对照

  1. DLinear
  2. Informer

第二阶段:Transformer 结构变体

  1. PatchTST
  2. iTransformer
  3. Autoformer

第三阶段:机制扩展

  1. FEDformer
  2. Nonstationary_Transformer
  3. TimeMixer

6. 每个模型的固定产物

每个模型最后都至少应该有:

  1. 一篇“模型在 TFB 中的真实入口”文档
  2. 一篇“模型主链”文档
  3. 一张“论文模块 -> 代码对象”映射表
  4. 一份 checkpoints

7. 当前最优先的任务

现在优先级只有这个:

任务 1

重写 Informer 的新一代文档。

不是修旧 phase1 文档,而是新写一套以真实 TFB 入口为起点的文档:

  1. Informer 在 TFB 中的真实入口
  2. Informer.forward 主链
  3. DataEmbedding
  4. Encoder
  5. Decoder
  6. 论文 - 代码映射表
  7. Checkpoints

8. 你现在不该做什么

不要:

  • 再继续扩高层框架文档
  • 同时开很多模型
  • 一开始就追大实验
  • 一开始就做大改动

9. 下一步动作

下一步就从这里开始:

Informer 在 TFB 中的真实入口

然后按这个顺序继续:

  1. Informer.forward 主链
  2. 参数总表
  3. 最小数学例子
  4. DataEmbedding
  5. Encoder
  6. Decoder

10. 最后压成 5 句话

  1. 当前阶段是模型精读阶段,不是框架补课阶段。
  2. 这一阶段的核心是建立“论文 - 代码 - 框架”稳定映射。
  3. 所有模型精读都必须从真实 TFB 入口出发。
  4. 当前第一批顺序是 DLinear -> Informer -> PatchTST -> iTransformer -> Autoformer
  5. 你现在最直接的下一步,就是沿着 Informer 这一套文档自顶向下细读。

*记录并在线阅读我的笔记*