Tri-Level Navigator: LLM-Empowered Tri-Level Learning for Time Series OOD Generalization

要約

機械学習における Out-of-Distribution (OOD) 一般化は、急成長している研究分野です。
その主な目標は、元のトレーニング データセットから大きく異なる、まだ見たことのない、敵対的な可能性のある新しいデータに直面したときの機械学習モデルの適応性と回復力を強化することです。
このペーパーでは、事前トレーニングされた大規模言語モデル (LLM) を介した時系列 OOD の一般化を調査します。
私たちは最初に、サンプルレベルとグループレベルの不確実性の両方を考慮する、TTSO と呼ばれる \textbf{T}ime \textbf{S}eries \textbf{O}OD 一般化のための新しい \textbf{T}ri レベルの学習フレームワークを提案します。
。
この式は、OOD 一般化問題の定式化と分析に新しい理論的観点を提供します。
さらに、この方法が十分に動機付けられていることを正当化する理論的分析を提供します。
次に、この 3 レベルの最適化問題に合わせて調整された層別位置推定アルゴリズムを開発し、提案されたアルゴリズムの収束が保証されていることを理論的に実証します。
私たちの分析では、$\epsilon$ 定常点を取得するための反復計算量が O($\frac{1}{\epsilon^{2}}$) によって制限されることも明らかになりました。
提案された方法の有効性を解明するために、現実世界のデータセットに対する広範な実験が行われました。

要約(オリジナル)

Out-of-Distribution (OOD) generalization in machine learning is a burgeoning area of study. Its primary goal is to enhance the adaptability and resilience of machine learning models when faced with new, unseen, and potentially adversarial data that significantly diverges from their original training datasets. In this paper, we investigate time series OOD generalization via pre-trained Large Language Models (LLMs). We first propose a novel \textbf{T}ri-level learning framework for \textbf{T}ime \textbf{S}eries \textbf{O}OD generalization, termed TTSO, which considers both sample-level and group-level uncertainties. This formula offers a fresh theoretic perspective for formulating and analyzing OOD generalization problem. In addition, we provide a theoretical analysis to justify this method is well motivated. We then develop a stratified localization algorithm tailored for this tri-level optimization problem, theoretically demonstrating the guaranteed convergence of the proposed algorithm. Our analysis also reveals that the iteration complexity to obtain an $\epsilon$-stationary point is bounded by O($\frac{1}{\epsilon^{2}}$). Extensive experiments on real-world datasets have been conducted to elucidate the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google