DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization

要約

時系列は機械学習研究において最も困難なモダリティの一つである。時系列における分布外（OOD）の検出と汎化は、その非定常な性質、すなわち分布が時間と共に変化するために苦戦する傾向がある。時系列内の動的な分布は、不変な分布を同定する既存のアルゴリズムに大きな課題をもたらす。本論文では、非定常によって引き起こされる問題に対処するために、データセット全体の中のサブドメインを利用し、汎化表現学習を試みる。我々は、時系列の動的分布におけるOOD検出と汎化のための一般的なフレームワークであるDIVERSIFYを提案する。DIVERSIFYは、まず敵対的訓練によって「最悪ケース」の潜在分布シナリオを取得し、次にこれらの潜在分布間のギャップを減少させるという反復プロセスをとる。我々はDIVERSIFYを、抽出された特徴量または検出のためのモデルの出力のいずれかに従って、既存のOOD検出方法を組み合わせることによって実装する。さらに、理論的洞察により、DIVERSIFYが理論的に支持されていることを示す。ジェスチャー認識、音声コマンド認識、ウェアラブルストレスと影響検出、センサーベースの人間活動認識にわたり、異なるOOD設定を持つ7つのデータセットで広範な実験を行った。定性的および定量的な結果は、DIVERSIFYがより一般化された特徴を学習し、他のベースラインを大幅に上回ることを示している。

要約(オリジナル)

Time series remains one of the most challenging modalities in machine learning research. The out-of-distribution (OOD) detection and generalization on time series tend to suffer due to its non-stationary property, i.e., the distribution changes over time. The dynamic distributions inside time series pose great challenges to existing algorithms to identify invariant distributions since they mainly focus on the scenario where the domain information is given as prior knowledge. In this paper, we attempt to exploit subdomains within a whole dataset to counteract issues induced by non-stationary for generalized representation learning. We propose DIVERSIFY, a general framework, for OOD detection and generalization on dynamic distributions of time series. DIVERSIFY takes an iterative process: it first obtains the ‘worst-case’ latent distribution scenario via adversarial training, then reduces the gap between these latent distributions. We implement DIVERSIFY via combining existing OOD detection methods according to either extracted features or outputs of models for detection while we also directly utilize outputs for classification. In addition, theoretical insights illustrate that DIVERSIFY is theoretically supported. Extensive experiments are conducted on seven datasets with different OOD settings across gesture recognition, speech commands recognition, wearable stress and affect detection, and sensor-based human activity recognition. Qualitative and quantitative results demonstrate that DIVERSIFY learns more generalized features and significantly outperforms other baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL