Appearance
网站简介
这里是 lrn.091705 的学习笔记站点，用来沉淀课程内容、源码阅读、模型精读和工程实践记录。 文档内容主要来自本地 Obsidian 笔记。
当前重点：
- 学习主线：整理TFB 评测基准相关代码阅读文档
- 源码精读：pipeline最重要一环_eval_batch开始的部分
- 模型精读：按照模型顺序索引的代码阅读文档
- 草稿沉淀：早期的,应该归档的文档
阅读的代码仓库：TFB
learning status
没读懂/跳过的地方
- [ ] informer: ProbAttention 的代码具体实现跳过了（理解停留在论文原理）
- [ ] pytorch基础知识：建模4维tensor参数变换的能力（InnerAttention 的 queries、keys 的 维度 选择关系、AutoAttention 4维求mean的语法等等）
- [ ] Autoformer/FEDformer/FITS/TimesNet: 频域建模 fft&rfft 以及相关频域操作 的 物理前置知识（傅里叶变换、小波变换、LPF低通滤波...）& 复数运算的前置知识
- [ ] 总结CI CD的方式: CI 处理原因 (B, T, N) -> (C*N, T, 1)，主要还是tensor操作理解问题。
- [ ] Non-stationary: Projector? (tao_learner, delta_learner)
学习过的论文/代码
综述
预测模型
已掌握的范式覆盖
| 范式 | 已覆盖代表 | 代码能力迁移度 |
|---|---|---|
| Transformer 变体 | Informer / PatchTST / iTransformer / Autoformer / FEDformer / Non-stationary | 非常高，相互迁移 |
| MLP / Linear 极简 | DLinear / FITS | 高 |
| CNN 混合 | TimesNet | 中 |
| MoE | DUET（正准备读） | 中 |
| 多尺度混合 | TimeMixer | 高 |
还没碰过的真正不同的范式
| 范式 | 代表模型 | 为什么值得读 |
|---|---|---|
| SSM / Mamba | S-Mamba, TimeMamba, Mamba4TS | 线性复杂度序列建模，与 Attention 路线根本不同；适合超长序列 |
| 扩散模型 | TimeGrad, CSDI | 概率预测，输出分布而非点估计；与确定性预测框架完全不同 |
| TS Foundation Model | Moirai, Chronos, MOMENT | 预训练 + 零样本泛化，代表当前最前沿趋势 |
| LLM-for-TS | Time-LLM, GPT4TS | prompt / reprogramming 范式，把预训练 LLM 迁移到时序 |
TODO
- [ ] pytorch基础可以专门在语法层面精进一下。
- [ ] 继续learn一些近期的SOTA模型/其他范式的模型/读一些综述？