当前位置：首页 > news >正文

时间空间频域融合的Corssformer时间序列预测项目

news 2025/1/21 16:27:24

本文将时间空间频域融合进Corssformer模型中，进行创新，优势如下。

多尺度特征捕获：Corssformer通过多尺度机制捕获时间序列中的长期和短期依赖关系，适合具有复杂模式和多尺度特性的时间序列数据。
时空关系建模：在时间序列中，Corssformer能将时间和空间维度结合起来，捕捉多变量序列之间的相互关系，使其在多维度场景中更具优势，如风电或光伏等多传感器系统的预测。
频域信息融合：Corssformer在频域上提取特征，使其能够识别数据中的周期性和频率成分，有效减少噪声对预测的干扰，同时增强对周期性和趋势性特征的建模能力。
高效的注意力机制：Corssformer采用跨维度的自注意力机制，能有效降低长序列的计算复杂度，同时保留重要的上下文信息，适合大规模时间序列数据的处理。
增强的泛化能力：通过融合时间、空间和频域特征，Corssformer能够提高模型的泛化性能，使其在处理不同数据集或不同场景中的时间序列预测时表现更为稳定和准确。

1.Crossformer

2.1 Crossformer的主要思想
这个模型是一种新的基于Transformer的模型，名为Crossformer，这个模型在今年的ICLR上提出，是一种专门为多变量时间序列（MTS）预测设计。 Crossformer的主要特点包括：

1. 维度-段式（DSW）嵌入：这种新颖的嵌入技术将多变量时间序列数据沿每个维度划分为段，将这些段嵌入到特征向量中。这种方法保持了时间和维度信息，有助于模型更好地捕捉MTS数据的固有结构。

2. 两阶段注意力（TSA）层：Crossformer使用TSA层来有效捕捉时间和不同维度之间的依赖性。对于MTS预测来说，这两个方面的依赖性都是重要的。

3. 分层编码器-解码器（HED）结构：模型使用HED来利用不同规模的信息进行预测。这种分层方法有助于更有效地理解和预测MTS数据。论文表明，通过其独特的方法，Crossformer有效地捕捉了跨维度依赖性，这是现有基于Transformer的MTS预测模型中常常忽视的一个关键方面。通过在六个真实世界数据集上的广泛实验结果显示，Crossformer在性能上超越了以前的最先进模型，表明了其有效性和实际应用的潜力。这项研究通过解决现有模型的局限性并引入创新技术以提高性能，对时间序列预测领域做出了重要贡献。

DSW嵌入是Crossformer模型的一个关键特性，它的目的是更好地捕捉MTS（多变量时间序列）数据中的跨维度依赖关系。传统的基于Transformer的模型主要关注于捕捉时间跨度上的依赖（即跨时间依赖），而往往没有显式地捕捉不同变量间的依赖性（即跨维度依赖），这限制了它们的预测能力。

在DSW嵌入中，每个维度的时间序列数据点被分成一定长度的段。然后，每个段被嵌入到一个向量中，方法是使用线性投影加上位置嵌入。线性投影矩阵E和位置嵌入Epos都是可学习的。这样，每个嵌入后的向量hid表示一个时间序列的单变量段，最终得到一个二维向量数组H。在这个数组中，每个向量hid代表一段时间序列的一维切片。与其他针对MTS预测的Transformer模型不同，DSW嵌入显式地捕捉了跨维度依赖性。