Why Ask One When You Can Ask $k$? Two-Stage Learning-to-Defer to a Set of Experts

要約

学習学習（L2D）により、意思決定システムは、より有能なエージェントに不確実な予測を選択的に延期することにより、信頼性を向上させることができます。
ただし、ほとんどの既存のアプローチは、単一エージェントの延期にのみ焦点を当てています。これは、集合的な専門知識を必要とするハイステークスシナリオではしばしば不十分です。
$-$ $ K $学習を提案します。これは、各クエリを1つではなく$ K $のエージェントに割り当てる古典的な2段階L2Dフレームワークの一般化です。
柔軟性と費用効率をさらに向上させるために、入力の複雑さ、エージェントコンピテンシーの分布、および相談コストに基づいて、各クエリに相談する最適なエージェントの最適な数を学習する適応拡張機能であるTop $ $ $ K（X）$ Learning-to Deferを導入します。
両方の設定について、新しいサロゲート損失を導き出し、それがベイズコンシンテーションと$（\ mathcal {r}、\ mathcal {g}）$であることを証明します。
特に、確立されたモデルのカスケードパラダイムは、$ $ k $およびトップ$ $ k（x）$の定式化の制限されたインスタンスとして生じることを示しています。
多様なベンチマーク全体の広範な実験は、分類タスクと回帰タスクの両方に対するフレームワークの有効性を示しています。

要約(オリジナル)

Learning-to-Defer (L2D) enables decision-making systems to improve reliability by selectively deferring uncertain predictions to more competent agents. However, most existing approaches focus exclusively on single-agent deferral, which is often inadequate in high-stakes scenarios that require collective expertise. We propose Top-$k$ Learning-to-Defer, a generalization of the classical two-stage L2D framework that allocates each query to the $k$ most confident agents instead of a single one. To further enhance flexibility and cost-efficiency, we introduce Top-$k(x)$ Learning-to-Defer, an adaptive extension that learns the optimal number of agents to consult for each query, based on input complexity, agent competency distributions, and consultation costs. For both settings, we derive a novel surrogate loss and prove that it is Bayes-consistent and $(\mathcal{R}, \mathcal{G})$-consistent, ensuring convergence to the Bayes-optimal allocation. Notably, we show that the well-established model cascades paradigm arises as a restricted instance of our Top-$k$ and Top-$k(x)$ formulations. Extensive experiments across diverse benchmarks demonstrate the effectiveness of our framework on both classification and regression tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google