Prompt-based Domain Discrimination for Multi-source Time Series Domain Adaptation

要約

時系列ドメインの適応は、人間の活動認識、睡眠段階の分類、機械の故障診断などを含む (ただしこれらに限定されない) さまざまな用途において極めて重要かつ複雑な課題となっています。
この複雑な問題に取り組むために多数のドメイン適応技術が提案されているにもかかわらず、それらの主な焦点は時系列データの共通表現にありました。
この集中により、異なるソース ドメインに由来する貴重なドメイン固有の情報が誤って見落とされる可能性があります。
このギャップを埋めるために、マルチソース時系列ドメイン適応のために明示的に設計された新しいプロンプトベースの深層学習モデルである POND を紹介します。
POND は、特に次のような重大な課題に対処するように調整されています。1) メタデータ情報と時系列分布の間の定量的な関係が利用できない、2) ドメイン固有のメタデータ情報を抽出するための探索が不足している。
この論文では、メタデータ情報の忠実な学習を促進するための、インスタンス レベルのプロンプト ジェネレーターと忠実度損失メカニズムを紹介します。
さらに、複数のソース ドメインからドメイン固有のメタデータ情報を識別するためのドメイン識別手法を提案します。
私たちのアプローチには、目的を効率的に最適化するためのシンプルかつ効果的なメタ学習アルゴリズムが含まれています。
さらに、Mixture of Expert (MoE) 手法を組み込むことでモデルのパフォーマンスを強化します。
私たちが提案した POND モデルの有効性と堅牢性は、5 つのデータセットを含む 50 のシナリオにわたる実験を通じて広範囲に検証されており、私たちの提案した POND モデルが F1 スコアで最先端の手法を最大 $66\%$ 上回るパフォーマンスを示しています。
。

要約(オリジナル)

Time series domain adaptation stands as a pivotal and intricate challenge with diverse applications, including but not limited to human activity recognition, sleep stage classification, and machine fault diagnosis. Despite the numerous domain adaptation techniques proposed to tackle this complex problem, their primary focus has been on the common representations of time series data. This concentration might inadvertently lead to the oversight of valuable domain-specific information originating from different source domains. To bridge this gap, we introduce POND, a novel prompt-based deep learning model designed explicitly for multi-source time series domain adaptation. POND is tailored to address significant challenges, notably: 1) The unavailability of a quantitative relationship between meta-data information and time series distributions, and 2) The dearth of exploration into extracting domain-specific meta-data information. In this paper, we present an instance-level prompt generator and a fidelity loss mechanism to facilitate the faithful learning of meta-data information. Additionally, we propose a domain discrimination technique to discern domain-specific meta-data information from multiple source domains. Our approach involves a simple yet effective meta-learning algorithm to optimize the objective efficiently. Furthermore, we augment the model’s performance by incorporating the Mixture of Expert (MoE) technique. The efficacy and robustness of our proposed POND model are extensively validated through experiments across 50 scenarios encompassing five datasets, which demonstrates that our proposed POND model outperforms the state-of-the-art methods by up to $66\%$ on the F1-score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google