2026年11月20日:Caformer: Rethinking Time-Series Forecasting From Causal Perspective
- 主页 /
- 通知公告 /
- 通知公告
2026年11月20日:Caformer: Rethinking Time-Series Forecasting From Causal Perspective
【报告内容】
汇报人: 季佳
汇报单位:河海大学
主题:Caformer: Rethinking Time-Series Forecasting From Causal Perspective
1、Introduction
2、Method
3、Experiments
4、Conclusion
【报告总结】
1. 待解决的问题
多变量时间序列预测广泛应用于电力负荷、交通流量、气象预测及工业监测等领域。由于真实时间序列具有复杂的时序动态、变量交互关系以及非平稳性,现有预测方法仍面临以下问题。
(1)跨时间依赖与跨维度依赖难以充分联合建模。 时间序列不仅存在同一变量在不同时间之间的依赖关系,还存在不同变量之间的复杂交互。现有方法往往侧重其中某一类依赖,难以同时充分捕获两种依赖关系,限制了模型对复杂多变量系统的建模能力。
(2)数据非平稳与潜在环境混杂。 真实时间序列容易受到外部环境变化的影响,部分未观测的环境因素可能同时作用于历史输入和未来预测目标,形成混杂路径,使模型学习到不稳定的相关关系。当数据分布发生变化时,这些关系可能不再适用,从而导致预测性能下降。
(3)变量关系可能随输入环境变化而改变。 不同变量之间的交互强度可能随时间和环境条件发生变化,固定的依赖关系难以准确刻画不同时间窗口内的复杂交互。此外,传统时间依赖建模方法未必显式限制时间方向,可能无法充分体现时间序列的先后约束。
因此,如何在非平稳环境下联合建模跨维度与跨时间依赖,并减弱潜在环境混杂的影响,是本文重点解决的问题。
2. 相关创新方案
针对上述问题,论文从因果推断视角出发,提出Caformer(Causal Transformer)时间序列预测框架。该模型引入结构因果模型(SCM)和后门调整思想,通过环境学习、动态依赖建模和环境分层预测,提高多变量时间序列的预测能力。主要创新方案如下。
(1)基于多尺度特征提取的环境学习器(Environment Learner)。
设计多个不同卷积核大小的一维卷积分支,从输入时间序列中提取不同时间尺度的潜在环境特征,并通过平均池化得到统一的环境表示。随后,将环境表示从原始特征中减去,得到环境调整后的核心特征,以减弱潜在环境混杂对后续依赖关系学习的干扰。同时,保留环境表示供后续环境分层预测使用。
(2)联合跨维度与跨时间依赖建模的依赖学习块(DepBlock)。
DepBlock由动态学习器(Dynamic Learner)和时间学习器(Temporal Learner)组成。
动态学习器首先对输入特征进行全局平均池化,通过特征内积构建变量关系矩阵,再利用可学习权重对不同变量之间的关联强度进行自适应调整,最后通过关系矩阵聚合跨变量信息,实现动态跨维度依赖建模。
时间学习器通过可学习的线性映射构建时间关系矩阵,并引入下三角因果掩码,限制未来时间位置的信息参与当前时间表示的计算,从而学习具有时间方向约束的跨时间依赖。
(3)基于环境分层与注意力加权的分解学习器(Decompose Learner)。
为减弱环境混杂带来的影响,作者借鉴因果后门调整理论,将环境学习器提取的环境表示映射为多个潜在环境层。
随后,通过跨注意力机制计算不同环境层的权重,将时间序列特征与各环境层进行融合,生成环境条件下的预测表示,并利用环境权重进行加权聚合。
该机制通过可学习的环境分层与预测融合,近似实现后门调整思想,使模型能够综合考虑不同潜在环境条件下的预测规律。
3. 实验总结
为验证Caformer的有效性,论文设计了长期时间序列预测、短期时间序列预测、真实场景温度预测以及消融实验和模型分析等实验。
(1)长期时间序列预测实验。
在ETTh1、ETTh2、ETTm1、ETTm2、Electricity、Weather和Traffic等公开数据集上,设置96、192、336和720等预测长度,并与iTransformer、PatchTST、TimesNet、DLinear、Crossformer等模型进行比较。
实验结果表明,Caformer在64个长期预测指标比较案例中有58个取得最优结果,其余6个取得第二优结果。相较于PatchTST,在Traffic和Electricity数据集上的MSE分别降低26.2%和21.8%,验证了模型在长期多变量时间序列预测中的有效性。
(2)短期时间序列预测实验。
在M4数据集上开展短期预测实验,采用SMAPE、MASE和OWA作为评价指标。
结果表明,Caformer在15个短期预测指标比较案例中均取得最优结果,说明模型能够适应不同时间频率的预测任务,具有较好的短期预测性能。
(3)真实场景温度预测实验。
采用ERA5气象数据集中的气温数据,使用过去12个月的历史数据预测未来1、2、4、8和12个月的温度。
实验表明,Caformer具有一定的实际应用能力,但TimesNet在该任务中取得了更好的预测结果,说明Caformer对不同类型时间序列的适应能力仍存在进一步提升的空间。
(4)消融实验与模型分析。
通过分别移除环境学习器、动态学习器,以及替换时间学习器、取消分解学习器中的环境调整机制,验证各模块的有效性。
结果表明,完整模型在多数实验设置下具有更好的预测性能。其中,环境学习器对性能提升具有重要贡献,跨变量依赖、时间依赖及环境分层预测也能够在不同程度上降低预测误差。
4. 未来工作
尽管Caformer取得了较好的预测效果,但仍存在一些值得进一步研究的方向。
(1)增强潜在环境表示的可辨识性。
当前环境学习器主要通过多尺度卷积从输入数据中提取潜在环境表示,但这些表示不一定能够完整对应真实混杂因素。未来可进一步研究环境表示的可辨识性与环境不变特征学习,提高模型在不同环境分布下的稳定性。
(2)引入显式动态时滞因果关系学习。
当前动态学习器主要通过特征内积构建变量关系矩阵,能够刻画变量之间的关联强度,但无法直接确定真实因果方向和具体时滞。未来可以结合时滞因果发现方法,进一步学习变量之间的来源、目标以及时滞关系,提高依赖结构的可解释性。
(3)研究动态关系与未来状态的联合演化。
Caformer主要依据历史输入学习依赖关系并完成预测,未来可以进一步引入状态转移模型,使变量关系与潜在状态在多步预测过程中共同更新,以更好地适应非平稳环境和长预测区间中的动态变化。
(4)提高模型的泛化能力与计算效率。
可以进一步研究环境变化下的可靠性控制、轻量化关系建模及参数共享等方法,在保证预测精度的同时降低计算复杂度,提高模型在电力、气象和工业监测等实际场景中的应用能力。
报告时间:2026年11月20日19:30
腾讯会议:311-5999-8176
点我下载本讨论课相关文献或PPT吧~(提取码:iipr)