【报告内容】

汇报人：姚陈成

汇报单位：河海大学

主题：DeCoP: Enhancing Self-Supervised Time Series Representation with Dependency Controlled Pre-training

1、Introduction

2、Method

3、Experiment

4、Conclusion

【报告总结】

1.待解决的问题描述

当前的时间序列表示学习在面对动态时序依赖关系和分布偏移（distribution shift）时，往往存在性能下降的问题。传统方法无法同时稳健地捕捉不同时间尺度的依赖关系，且在数据分布变化（如跨域或跨时间段）时，模型表现明显退化。这限制了预训练时间序列模型在复杂真实场景中的泛化能力。

2.相关创新方案

论文提出了DeCoP（Dependency Controlled Pre-training）框架，主要创新包括：

①Instance-wise Patch Normalization：引入补丁级统计信息到归一化过程，有效缓解分布偏移并保持局部语义特征。

②层次化依赖控制学习（Hierarchical Dependency Controlled Learning）：自适应地捕捉短期与长期依赖关系，涵盖多时间尺度信息。

③实例级对比模块（Instance-level Contrastive Module）：对齐时间不变的正样本对的高层语义信息，提升全局语义学习能力。

3.实验总结

域内评估。我们将我们的模型与时间序列预测中的六种具有竞争力的先进基线方法进行比较，DeCoP Linear 在 ETTh2上比次 佳方法高出1.5%。对于像ETTm2这样更复杂的数据集，DeCoP MLP 取得了最佳结果，在均方误差(MSE) 方面比PatchTST高出0.8%。

跨域分析。在跨域设置中，我们将我们的框架与六种先进的时间序列预训练框架进行比较。我们评估了多个场景以测试跨域条件下的有效性。在域内和跨域迁移设置中，我们的模型始终比其他模型实现更低的MSE和MAE，特别是在ETTm1→ETTh1中，我们在均方误差方面比PatchTST高出4.2%，突出了其在分布变化下的有效性。

域内评估。对于域内学习，在分类任务中，我们采用多层感知器作为时间序列学习器，并将其与八种具有竞争力的先进基线方法进行比较。我们的模型在F1分数上比次佳的SimMTM高出1.45%，比PatchTST高出12.75%。 跨域分析。对于跨域设置，我们进行了跨域转移学习实验，在睡眠脑电图(SleepEEG)FD-B任务中，我们的框架在准确率和F1分数上分别比次佳结果高出12.89%和 11.85%

消融实验。在域内分类中，用PI或PD替换DCL分别导致平均性能下降3.94%和22.51%。在跨域设置中，性能差距变得更大，PI下降了18.69%，PD下降了19.57%。在预测任务中，在域内和跨域设置下，去除独立补丁网络(IPN)和交互对比模块 (ICM) 分别导致均方误差(MSE)增加0.5%和0.4%。

我们计算了DeCoP与两个数据集上的两个最先进预训练框架相比的浮点运算量(FLOPs)和参数。在预训练和微调阶段，DeCoP均实现了最低的均方误差 (MSE)0.401，在 ETTh1数据集上仅使用37%的浮点运算量，却比PatchTST性能高出30%。

DeCoP的可控性。与IN相比，IPN更有效地保留了补丁内的信息性变化。此外，我们的DCL方法通过动态窗口分组和分层编码依赖关系来可控地编码时间结构。与PatchTST 中的单尺度注意力不同，DCL明确限制了依赖建模的时间范围，使模型能够捕捉有意义的局部模式并逐 步扩展到全局语义。这种可控设计通过避免噪声或无关的依赖关系，降低了分布变化下的过拟合风险。与PatchTST相比，DeCoP收敛更快，训练和验证损失之间的差距更小，表明其具有更好的泛化能力和更低的过拟合。

4.未来工作

本文介绍了DeCoP，一种依赖控制预训练框架，通过显式建模动态和多尺度时间依赖性来改进时间序列表示学习。在输入层面上，IPN通过实例级补丁归一化减轻分布变化同时保留细粒度的补丁级信息，从而建立了一个稳定的基础。在潜在表示层面上，DCL通过可控感受野显式捕获多尺度依赖关系，而ICM通过纳入时间不变的正样本对增强全局表示学习。DeCoP以更少的参数优于现有模型，突出了依赖控制预训练对动态时间序列的重要性。我们希望我们的工作为未来关于时间序列预训练框架的工作提供一个强大的基线。

报告时间：2025年11月07日19:30

腾讯会议：311-5999-8176

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)