拼团网站开发,推荐常州网站建设公司,wordpress popular posts,凡科登录入口app下载我是从去年11月份开始#xff0c;选定时间序列预测这个方向#xff0c;准备在工作之余继续独立进行一些科学研究。选定这个方向是因为我对金融量化一直挺感兴趣#xff0c;希望能把时间序列中的深度学习算法模型#xff0c;用到金融数据。现在看来#xff0c;我太过于理想…我是从去年11月份开始选定时间序列预测这个方向准备在工作之余继续独立进行一些科学研究。选定这个方向是因为我对金融量化一直挺感兴趣希望能把时间序列中的深度学习算法模型用到金融数据。现在看来我太过于理想化了金融数据的非平稳性使得这以上两个问题有本质的区别。至少到目前为止我的“金融数据深度学习建模”的想法还未实现。
但是在近半年的时间里我陆续阅读了包括Transformer、Informer、NS Transformer、Patch TST、PITS、Itransformer、Crossformer、TimesNet、FEDformer、Dlinear等论文并对模型做了比较详细的解读。梳理下来我发现这些论文构成了时间序列研究绕不开的baseline也是任何想从事时序研究的人必读的论文。分享过程中我收获了不少素未谋面的研究者的鼓励与大家留言交流的过程更受益匪浅这是我未曾预料到的收获。
本文后续篇幅从以上8个模型挑选了部分代表性baseline进行简单介绍如果需要每篇论文的详细解读可以从最后给出的链接挑选阅读。另外未来我计划持续跟进时间序列高水平论文除了新SOTA的模型外也会选取时序模型可解释性、轻量化、以及与前沿技术如Diffusion、大模型结合的文章进行解读。同时也在考虑做代码的解读分享与诸君共勉敬请期待
1 Patch TST
论文标题A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERSICLR2023
Patch TST发表于ICLR23无疑是近期时间序列领域绕不开的存在数据的Patch已成为时序模型的基本操作。它基于两个关键组成部分i将时间序列分割成子序列级别的patch作为输入token提供给 Transformerii通道独立性每个通道包含一个单变量时间序列共享相同的嵌入和 Transformer 权重。patch的优势在于保留了局部语义信息更低的计算和内存使用量模型可以关注更长的历史信息。PatchTST显著提高了时序预测的准确性取得了 SOTA。 2 Itransformer
论文标题ITRANSFORMER : INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTINGICLR2024
ITRANSFORMER发表于ICLR24这是一篇热度很高但是讨论比较激烈的论文。本质上论文是对数据的维度做了调整对模型结构本身并无改进讲故事的能力值得大家学习。Itransformer采取了一种倒置时间序列的做法。具体是将每个变量的整个时间序列独立地嵌入为token作者称这是 Patch TST的极端情况。相较于已有的基于Transformer的时序工作本文工作扩大了局部感受视野。通过倒置每个变量最终嵌入的token聚合了序列的全局特征表示这可以更加以变量为中心并且更好地利用注意力机制来进行多变量相关分析。 3 DLinear/NLinear
论文标题Are Transformers Effective for Time Series Forecasting?AAAI2023
作者认为由于Transformer的自注意力机制是对称的置换不变性并且在计算注意力权重时不考虑序列中的位置信息因此无法有效地捕捉时间序列中的时序依赖关系导致时间信息的丢失。作者据此提出一组非常简单的一层线性模型命名为LTSF-Linear (NLinear和DLinear)。DLinear通过特定的分解方法如移动平均核等将原始时间序列数据分解为趋势分量和季节性分量。然后对这两个分量分别应用一层线性模型进行学习和预测。NLinear是另一个线性模型的变体它采用了不同的预处理方法。在九个真实数据集上的实验结果表明LTSF-Linear出人意料地在所有情况下都优于现有的复杂Transformer-based LTSF模型并且领先幅度很大 4 Crossformer
论文标题CROSSFORMER : TRANSFORMER UTILIZING CROSS DIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FORECASTINGICLR2023
如果你在考虑从注意力或多尺度的角度做一些改进那Crossformer就是一篇非常典型的在transformer基础上魔改注意力机制的文章论文质量很高值得学习。但我个人认为时间序列中的多尺度、注意力基本已经做到头了
现有的基于 Transformer 的模型主要集中在建模时间依赖关系跨时间依赖但往往忽视了不同变量之间的依赖关系跨维度依赖而这对于 MTS 预测至关重要。Crossformer利用跨维度依赖关系进行 MTS 预测通过维度分段式DSW嵌入将输入的 MTS 嵌入到二维向量数组中以保留时间和维度信息。然后作者还提出了两阶段注意力TSA层以有效地捕获跨时间和跨维度的依赖关系。利用 DSW 嵌入和 TSA 层Crossformer 建立了一个分层编码器-解码器HED以利用不同尺度上的信息进行最终的预测。对六个真实世界数据集的广泛实验结果显示Crossformer 相对于先前的最新技术具有很高的有效性。 欢迎大家关注我的公众号【科学最top】专注于时序高水平论文解读。
