IM-Context: In-Context Learning for Imbalanced Regression Tasks

要約

非常に不均衡なラベル分布を特徴とする領域では、回帰モデルは効果的に一般化できないことがよくあります。
深い不均衡回帰のこれまでの方法は、勾配ベースの重み更新に依存しており、過小評価された領域で過剰適合する傾向がありました。
この論文では、特に不均衡な回帰に対処するための、従来の重み内学習方法に代わる効果的な方法として、コンテキスト内学習へのパラダイム シフトを提案します。
インコンテキスト学習とは、コンテキスト内サンプル (入力ラベルのペア) と新しいクエリ入力で構成されるプロンプト シーケンスが与えられると、パラメーターの更新を必要とせずに、モデル自体が条件付けされて予測を生成する機能を指します。
この論文では、プロンプト シーケンスがモデルのパフォーマンスに及ぼす影響を理論的および経験的観点の両方から研究します。
私たちは、不均衡の高い地域内のバイアスを軽減する上で、局所的なコンテキストの重要性を強調します。
現実世界のさまざまなデータセットにわたる経験的評価により、不均衡レベルが高いシナリオでは、コンテキスト内学習が既存の重み内学習方法よりも大幅に優れたパフォーマンスを発揮することが実証されています。

要約(オリジナル)

Regression models often fail to generalize effectively in regions characterized by highly imbalanced label distributions. Previous methods for deep imbalanced regression rely on gradient-based weight updates, which tend to overfit in underrepresented regions. This paper proposes a paradigm shift towards in-context learning as an effective alternative to conventional in-weight learning methods, particularly for addressing imbalanced regression. In-context learning refers to the ability of a model to condition itself, given a prompt sequence composed of in-context samples (input-label pairs) alongside a new query input to generate predictions, without requiring any parameter updates. In this paper, we study the impact of the prompt sequence on the model performance from both theoretical and empirical perspectives. We emphasize the importance of localized context in reducing bias within regions of high imbalance. Empirical evaluations across a variety of real-world datasets demonstrate that in-context learning substantially outperforms existing in-weight learning methods in scenarios with high levels of imbalance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google