【报告内容】

汇报人： 陈昱璠

汇报单位：福建理工大学

《Measuring Pre-training Data Quality without Labels for Time Series Foundation Models》

1、Introduction

2、Method

3、Experiments

4、Conclusion

【报告总结】

1、待解决的问题描述

1）在时间序列基础模型（TSFM）的预训练中，数据质量评估依赖标注的下游任务测试，导致高昂的标注成本与时间开销。

2）预训练数据集的多样性与质量难以量化，影响模型泛化能力。传统方法需反复在不同下游任务上测试模型性能，效率低下。

2、相关创新方案

1）对比准确率（Contrastive Accuracy, CA）：通过对比学习衡量正样本对在嵌入空间中的最近邻匹配比例，量化预训练数据质量。无需标注数据，直接通过嵌入空间分布评估数据价值。

2）模型架构设计

双路径特征融合：结合1D-CNN（提取局部片段）与ViT（建模全局依赖），提升时序特征表达能力。

轻量级投影头（MLP）：通过线性层与层归一化（Linear+LN）优化对比学习空间。

3、实验总结

1）实验设置与验证：研究团队基于UCR时间序列数据集开展了系统性实验，覆盖127种不同的分类任务，旨在验证所提出的对比准确率（CA）指标的有效性。实验采用了标准的对比学习框架，结合了经过预训练的时间序列基础模型（TSFM），并在多个子数据集上进行了广泛的测试，确保结果的普适性和可靠性。

2）核心发现与结果

CA与下游任务表现高度一致：通过对比不同预训练数据集的效果，研究发现对比准确率（CA）与模型在实际分类任务中的准确率呈现出强烈的正相关关系。

高效的数据选择策略：实验结果表明，通过监测CA的变化，研究者能够在不依赖标注数据的情况下，快速筛选出对模型性能提升最有帮助的新增数据集。

计算资源的高效利用：与传统方法相比，基于CA的评估流程显著降低了计算开销。传统方法需要在多个下游任务上反复训练和测试模型，而CA仅需通过无监督的嵌入空间分析即可完成评估，节省了约80%的硬件资源和时间消耗。

3）实际验证与案例：以工业传感器数据为例，研究团队展示了CA在真实场景中的应用价值。通过对比不同传感器数据集的CA值，成功识别出包含关键故障模式的高质量数据，从而优化了预训练过程。

4）局限性讨论：尽管CA在多数场景中表现优异，研究也指出其依赖对比学习的特性可能带来的限制。例如，在数据增强策略较为单一或噪声水平极高的情况下，CA的敏感性可能下降。未来需进一步探索更鲁棒的增强方法以扩展其适用范围。

4、未来工作

1）扩展应用场景：探索CA在多模态时间序列（如视频+传感器数据）与跨领域迁移学习中的适用性。

2）增强策略优化：研究更鲁棒的时间序列数据增强方法（如动态时间规整、对抗增强）。

3）理论深化：建立CA与嵌入空间几何性质（如均匀性、对齐性）的数学关联。

4）大规模验证：在工业级数据集（如百万级传感器数据）中验证方法的可扩展性。

报告时间：2025年04月11日19:30

腾讯会议：311-5999-8176

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)