High-Dimensional Prediction for Sequential Decision Making

要約

私たちは、これらのイベントを下流の意思決定者に合わせて調整することを目的として、条件付けイベントの任意のコレクションに従う偏りのない、敵対的に選択された高次元の状態を予測する問題を研究します。
我々は、この問題を解決するための効率的なアルゴリズムと、適切な条件付けイベントのセットの選択から生じる多くのアプリケーションを提供します。
たとえば、多項式的に多くの意思決定者を対象とした予測を効率的に行うことができ、彼らが私たちの予測に最もよく反応した場合に、それぞれの意思決定者に最適なスワップリ後悔を与えることができます。
これをオンラインの組み合わせ最適化に一般化し、意思決定者が非常に大きなアクション空間を持っている場合、多項的に多くの意思決定者に提供する最初のアルゴリズムが、意思決定者のアクションとコンテキストに依存する可能性のある多項的に多くのサブシーケンスを後悔しないようにします。
これらの結果を適用して、拡張形式ゲーム (EFG) で効率的な後続なしリグレット アルゴリズムを取得し、既存の EFG リグレット概念の一部を一般化する、EFG 用のリグレット保証の新しいファミリーを生み出します。
これは、情報に基づく因果関係の逸脱に対する遺憾の意であり、一般に、他の既知のそのような概念と比較することはできません。
次に、有効なオンライン敵対的マルチクラス予測セットを構築するための、等角予測に代わる新しい透明な代替手段を開発します。
これらのスコアが真の条件付きクラス確率であるかのように、下流のアルゴリズムが有効カバレッジ予測セットを生成するために使用できるクラス スコアを生成します。
これは、多項式に多数の下流予測セットに対するセットサイズ条件付きおよびマルチグループ公平なカバレッジを含む、強力な条件付き妥当性保証を意味することを示します。
さらに、クラス スコアは、ベンチマーク モデルのコレクションと比較して、$L_2$ 損失、クロスエントロピー損失、および一般にブレグマン損失が改善されていることが保証され、全数予測の高次元の実数値バージョンが得られます。

要約(オリジナル)

We study the problem of making predictions of an adversarially chosen high-dimensional state that are unbiased subject to an arbitrary collection of conditioning events, with the goal of tailoring these events to downstream decision makers. We give efficient algorithms for solving this problem, as well as a number of applications that stem from choosing an appropriate set of conditioning events. For example, we can efficiently make predictions targeted at polynomially many decision makers, giving each of them optimal swap regret if they best-respond to our predictions. We generalize this to online combinatorial optimization, where the decision makers have a very large action space, to give the first algorithms offering polynomially many decision makers no regret on polynomially many subsequences that may depend on their actions and the context. We apply these results to get efficient no-subsequence-regret algorithms in extensive-form games (EFGs), yielding a new family of regret guarantees for EFGs that generalizes some existing EFG regret notions, e.g. regret to informed causal deviations, and is generally incomparable to other known such notions. Next, we develop a novel transparent alternative to conformal prediction for building valid online adversarial multiclass prediction sets. We produce class scores that downstream algorithms can use for producing valid-coverage prediction sets, as if these scores were the true conditional class probabilities. We show this implies strong conditional validity guarantees including set-size-conditional and multigroup-fair coverage for polynomially many downstream prediction sets. Moreover, our class scores can be guaranteed to have improved $L_2$ loss, cross-entropy loss, and generally any Bregman loss, compared to any collection of benchmark models, yielding a high-dimensional real-valued version of omniprediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google