Task Aware Modulation using Representation Learning: An Approach for Few Shot Learning in Environmental Systems

要約

TAM-RL (Task Aware Modulation using Representation Learning) を紹介します。これは、エンティティが基礎となる共通のフォワード モデルを共有しているものの、エンティティが異なるために異質性を示す科学および工学の問題向けに設計された、異種システムにおける少数ショット学習のための新しいマルチモーダル メタ学習フレームワークです。
-特有の特徴。
TAM-RL は、変調ネットワークとベース ネットワークを使用した償却トレーニング プロセスを利用してタスク固有の変調パラメータを学習し、限られたデータで新しいタスクに効率的に適応できるようにします。
私たちは、一次総生産 (GPP) 予測と流量予測という 2 つの現実世界の環境データセットに基づいて TAM-RL を評価し、既存のメタ学習手法に比べて大幅な改善を示しています。
FLUXNET データセットでは、TAM-RL は、わずか 1 か月の少数ショット データで MMAML と比較して RMSE を 18.9\% 改善します。一方、流量予測では、1 年間のデータで 8.21\% の改善を達成します。
合成データの実験により、異種タスクの分散における TAM-RL の優れたパフォーマンスがさらに検証され、最も異種な設定でベースラインを上回りました。
特に、TAM-RL は大幅な計算効率を提供し、勾配ベースのメタ学習アプローチと比較してトレーニング時間が少なくとも 3 倍速くなりますが、複雑さが軽減されるためトレーニングがはるかに簡単になります。
アブレーション研究は、TAM-RL のパフォーマンスにおける事前トレーニングと適応メカニズムの重要性を強調しています。

要約(オリジナル)

We introduce TAM-RL (Task Aware Modulation using Representation Learning), a novel multimodal meta-learning framework for few-shot learning in heterogeneous systems, designed for science and engineering problems where entities share a common underlying forward model but exhibit heterogeneity due to entity-specific characteristics. TAM-RL leverages an amortized training process with a modulation network and a base network to learn task-specific modulation parameters, enabling efficient adaptation to new tasks with limited data. We evaluate TAM-RL on two real-world environmental datasets: Gross Primary Product (GPP) prediction and streamflow forecasting, demonstrating significant improvements over existing meta-learning methods. On the FLUXNET dataset, TAM-RL improves RMSE by 18.9\% over MMAML with just one month of few-shot data, while for streamflow prediction, it achieves an 8.21\% improvement with one year of data. Synthetic data experiments further validate TAM-RL’s superior performance in heterogeneous task distributions, outperforming the baselines in the most heterogeneous setting. Notably, TAM-RL offers substantial computational efficiency, with at least 3x faster training times compared to gradient-based meta-learning approaches while being much simpler to train due to reduced complexity. Ablation studies highlight the importance of pretraining and adaptation mechanisms in TAM-RL’s performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google