电子商业网站建设步骤,做外贸哪些网站好,上海专业做网站公司报价,wordpress超级排版【论文阅读笔记】TS2Vec: Towards Universal Representation of Time Series
摘要 这段文字介绍了一个名为TS2Vec的通用框架#xff0c;用于学习时间序列数据的表示#xff0c;可以在任意语义层次上进行。与现有方法不同#xff0c;TS2Vec通过对增强的上下文视图进行层次化…【论文阅读笔记】TS2Vec: Towards Universal Representation of Time Series
摘要 这段文字介绍了一个名为TS2Vec的通用框架用于学习时间序列数据的表示可以在任意语义层次上进行。与现有方法不同TS2Vec通过对增强的上下文视图进行层次化的对比学习这使得每个时间戳都能获得一种稳健的上下文表示。此外为了获取时间序列中任意子序列的表示我们可以简单地对相应时间戳的表示进行聚合。 为了评估时间序列表示的质量研究者进行了广泛的时间序列分类任务实验。结果显示TS2Vec在125个UCR数据集和29个UEA数据集上相较于现有的无监督时间序列表示方法取得了显著的提升。学到的时间戳级别表示也在时间序列预测和异常检测任务中获得了优越的成绩。一个在学习到的表示基础上训练的线性回归模型其性能超过了之前时间序列预测的最好结果。进一步地研究者展示了一种简单的方法用于将学习到的表示应用于无监督异常检测并在文献中设定了新的最佳结果。此外相关源代码已经公开在GitHub上供大家使用。
Introduction 时间序列的重要性时间序列数据在多个领域内扮演着核心角色能够帮助进行预测和模型构建。 现有研究的局限许多研究专注于学习整体的实例级表示这对于聚类和分类等任务非常有效。然而对于需要细粒度表示的任务如时间序列预测和异常检测这些表示可能不够充分。 对比损失的使用最近的研究开始使用对比损失来学习时间序列的内在结构但现有方法仍然存在限制例如不能区分不同粒度的多尺度上下文信息。 多尺度特征的重要性尺度不变的信息是时间序列任务成功的关键但少数现有方法考虑到了这一点。多尺度特征能提供不同层次的语义并改善学到的表示的泛化能力。 领域偏差的问题现有无监督时间序列表示方法多受计算机视觉和自然语言处理领域的启发这些领域的假设如变换不变性可能不适用于时间序列建模。 TS2Vec框架的贡献为了解决这些问题提出了TS2Vec框架它利用层次化对比学习在不同时间维度上区分正负样本通过对应时间戳的最大池化来获取任意子序列的整体表示从而能在多个分辨率捕捉时间数据的上下文信息并生成任何粒度的细粒度表示。此外TS2Vec的对比目标基于增强的上下文视图以确保相同子序列在不同上下文中的表示一致性
论文的主要贡献
提出TS2VEC框架作者提出了一个统一的框架TS2VEC,用于学习时间序列任意子序列的上下文表示覆盖各种语义这是首次提出的一种通用的表示方法适用于时间序列领域的所有任务包括但是不限于分类预测和异常检测创新设计 层次化的对比方法为了捕获多尺度的上下文信息TS2VEC采用一个实力层面和时间维度上的层次化对比方法这种方法有助于更准确地反映时间序列数据的内在结构和动态变化上下文一致性的正样本选择和TS2VEC提出上下文一致性的概念来选择正样本这对于具有多样分布和尺度的时间序列数据来说更合适通过实验证明该方法对于具有缺失值的时间序列具有较高的鲁棒性而且通过剖析研究验证了层次化对比和上下文一致性的有效性TS2Vec在三个基准时间序列任务分类、预测和异常检测上超越了现有的最佳方法。例如在125个UCR数据集上平均提高了2.4%的准确率在29个UEA数据集上提高了3.0%
Method
定义 模型架构
架构概述TS2Vec框架的核心是通过编码器从输入时间序列中提取表示该过程涉及时间对比损失和实例对比损失的联合优化。整体目标是通过层次化框架在多个尺度上求和总损失以增强不同子序列间的一致性编码器组成 输入投影层这是一个全连接层负责将观测到的每一个时间戳xi,t的数据映射到高维潜在向量Zi,t时间戳掩蔽模块该模块再随机选择的时间戳处掩蔽潜在向量生成增强的上下文视图选择掩蔽潜在向量而不是原始值是因为时间需里的值范围可能是无界的难以为原始数据找到一个特殊的标记扩张卷积神经网络包括是个残差块每一个快包含两层一维卷积层具有扩张参数扩张卷积通过增加感受野来加强对不同领域的表达能力 操作机制通过这些组件TS2VEC能够处理和分析输入时间序列抽取每一个时间戳处的上下文表示
正样本对构建
正样本对的构建 子序列一致性鼓励时间序列的表示和采样子序列的表示更接近时间一致性通过选择相邻段作为正样本来强制表示的局部平滑性变换一致性通过对输入序列应用不同的变换来促使模型学习到不变性表示子序列一致性存在水平位移时受到影响时间一致性在出现异常时导致假的正样本的问题 上下文一致性策略 将两个增强上下文中相同时间戳的视为正样本通过使用时间戳掩蔽和随机裁剪来生成上下文优势掩蔽和裁剪不会改变时间序列的幅度这对时间序列分析比较重要这些分析通过强制每一个时间戳在不同上下文中重建自己一高学习表示的鲁棒性在训练阶段随机掩蔽实例的时间戳来产生新的上下文视图。具体而言掩蔽在输入投影层后得到的潜在向量使用二元掩码从伯努利分布中独立采样p0.5沿时间轴进行。随机裁剪同样在训练阶段使用随机选择两个重叠的时间段确保在重叠部分的上下文表示一致。随机裁剪有助于学习位置不敏感的表示避免表示塌陷 上下文一致性策略为时间序列的对比学习提供了一种有效的正样本对构建方式有助于提升模型的泛化能力和鲁棒性
层次换对比损失的计算过程 层次换对比损失旨在使得编码器能够在多种尺度上学习表示 层次化对比损失的计算过程 初始化损失计算输入r和参考输入r0之间的对比损失Ldual(r,r0)迭代最大池化 在时间轴上对r和ro进行最大池化使用的核大小是2这一步骤逐渐降低时间序列的时间维度从而在更高的语义层次上对时间序列进行编码在每一次池化过后重新计算这两个池化之后的表示之间的对比损失并且累加到总存世Lhier归一化损失完成所有池化步骤之后将累计的损失除以池化次数d,以得到平均化的层次对比损失 对比其他工作 与T-Loss比较仅仅在实例层面执行对比没有考虑时间戳层面的对比与TS-TCC对比TS-TCC仅仅在时间戳层面上执行对比没有涵盖更高的语义层次与TNC比较TNC鼓励在特定粒度层面上的时间局部平滑性但是没有想TS2VEC封装不同层次的表示 通过结合实例级和时间级的对比损失TS2Vec的模型能够更好地编码时间序列的分布这在所有的粒度层面上进行
两种对比损失 时间对比损失 专注于时间序列的同一个时间戳上面从两个不同的视角的表示作为正样本而不同的时间戳的表示作为负样本 实例对比损失 实例对比损失在时间戳t上面将来自同一时间序列的不同实例的表示作为负样本 综合这两种损失时间对比损失帮助模型学习时间动态而实例对比损失帮助模型区分不同实例之间的差异
实验
分类
数据集使用UCR归档128个单变量数据集和UEA归档30个多变量数据集进行评估。对比方法TS2Vec与其他几种无监督时间序列表示学习方法进行比较包括T-Loss、TS-TCC、TST和TNC性能提升TS2Vec在UCR和UEA数据集上都显示出了显著的改进。具体来说在125个UCR数据集上平均提高了2.4%的分类准确率在29个UEA数据集上提高了3.0%。统计测试通过使用Nemenyi测试的Critical Difference图来展示不同分类器在所有数据集上的平均排名情况验证了TS2Vec在平均排名上显著优于其他方法。训练时间在NVIDIA GeForce RTX 3090 GPU上TS2Vec显示出了所有方法中最短的训练时间。这得益于其在一个批次内跨不同粒度应用对比损失大大提高了表示学习的效率
时间预测
数据集和比较模型TS2Vec的性能与现有的SOTA方法在四个公开数据集上进行了比较包括三个ETT数据集和Electricity数据集。比较的模型包括Informer, LogTrans, LSTnet, TCN适用于单变量和多变量设置N-BEATS仅单变量设置以及StemGNN仅多变量设置。评估指标使用均方误差MSE和平均绝对误差MAE来评估预测性能。详细的预测结果单变量和多变量预测的MSE和MAE由于篇幅限制在附录中报告性能提升TS2Vec在多数情况下建立了新的SOTA平均MSE在单变量设置下降了32.6%在多变量设置下降了28.2%。 表示的通用性学习到的表示只需为每个数据集学习一次便可以直接应用于不同的预测范围 H这通过线性回归模型实现展示了学习表示的通用性。效率对比在使用NVIDIA GeForce RTX 3090 GPU时TS2Vec的训练和推断时间与Informer进行了比较。TS2Vec在训练阶段包括两个步骤学习时间序列表示和为每个 训练一个线性回归器。推断阶段也包括两个步骤对应时间戳的表示推断和通过训练好的线性回归器进行预测。TS2Vec的表示模型只需训练一次即可适用于不同的预测范围无论是在训练还是推断阶段TS2Vec都展示了优于Informer的效率。
检测
在异常检测任务中目标是判断时间序列中最后一个点xt是否为异常TS2Vec通过比较掩蔽与未掩蔽输入得到的表示之间的差异来定义异常得分具体操作是对于一个输入序列TS2VEC会进行两次前向传播:第一次掩蔽最后一个观测值xt,第二次不进行掩蔽实验设置每个时间序列样本按时间顺序分为两半前半部分用于无监督训练后半部分用于评估。性能比较在正常设置中TS2Vec在Yahoo数据集上的F1得分提高了18.2%在KPI数据集上提高了5.5%。在冷启动设置中F1得分在Yahoo数据集上提高了19.7%在KPI数据集上提高了1.0%
消融实验 验证不同组件的有效性进行的实验设计和结果 不包含时间对比损失不包含实例对比损失不包含层次对比不适用随机裁剪不适用时间戳掩蔽不包含输入投影曾 比较正样本对选择策略 时间一致性将一定距离内的时间戳作为正样本子序列一致性随机选取同一时间序列的两个子序列作为正样本 实验中还尝试将数据增强技术如抖动、缩放和置换应用于输入时间序列的不同视图。这些增强假设时间序列数据遵循某些不变性但在多样化且不断变化的时间序列分布中这种假设并不成立因此增加这些增强后观察到性能下降。 最后为了验证模型架构的选择研究者将扩张卷积神经网络Dilated CNN替换为LSTM和Transformer参数大小相当。结果显示无论是LSTM还是Transformer准确率都显著下降证明了扩张CNN是处理时间序列的有效架构选择
缺失数据的鲁棒性
时间戳掩蔽这一策略使得网络能够在不完整的上下文中推断出表示相当于在训练过程中模拟了缺失数据的情况从而增强了模型对实际缺失情况的适应性。层次对比此策略引入了长距离信息帮助模型在周围信息不完整的情况下预测缺失的时间戳这对于处理大量缺失值至关重要
总结
层次化对比学习TS2Vec采用层次化对比学习方法能够在不同的尺度上捕捉和学习时间序列的关键特征这种方法通过处理增强的上下文视图来学习尺度不变的表示。时间序列分类通过将时间序列映射到有意义的空间中TS2Vec改进了时间序列数据的分类准确性。时间序列预测TS2Vec提供了有效的表示这些表示有助于预测未来的时间序列值。异常检测框架能够识别时间序列中的异常点这对于许多实际应用如故障检测非常重要。数据的不完整性在处理不完整数据时TS2Vec展示了稳定的性能其中层次化对比损失和时间戳掩蔽是保持性能的关键因素表示的可视化通过可视化学习到的表示验证了TS2Vec捕捉时间序列动态的能力。这种可视化有助于更好地理解模型如何处理和解释时间数据
