Preference-centric Bandits: Optimality of Mixtures and Regret-efficient Algorithms

要約

標準的なマルチアームの盗賊の目的は、多くの場合、アームの確率分布の期待値の形で、最大の報酬を持つアームを識別し、繰り返し選択することです。
しかし、このような功利主義的な視点と確率モデルの最初の瞬間に焦点を当てることは、分配の尾の行動と意思決定における変動とリスクへの影響に不可知論されます。
このペーパーでは、予想ベースの評価から選好メトリック（PM）と呼ばれる代替報酬の定式化にシフトするための原則的なフレームワークを紹介します。
PMSは、さまざまな報酬実現に望ましい重点を置くことができ、リスク回避、堅牢性、または不確実性に対するその他の望ましい態度を取り入れる好みのより豊富なモデリングをエンコードできます。
このようなPM中心の視点における根本的に明確な観察は、Banditアルゴリズムの設計には大幅に異なる原則があるということです。最適なサンプリングポリシーが単一のベストアームから繰り返しサンプリングするように収束する報酬ベースのモデルとは対照的に、PM中心のフレームワークでは、特定の混合重量に基づいてアームを組み合わせて組み込む最適なポリシーが収束します。
このような混合ポリシーの設計は、主に数えられない混合の可能性のために、Banditアルゴリズムを重要な方法で設計するための原則から逸脱しています。
このペーパーは、PM中心のフレームワークを正式にし、ミックスを後悔効率の高い方法で学習および追跡する2つのアルゴリズムクラス（いつでも、いつでも、いつでも）を提示します。
これらのアルゴリズムには、標準的な対応物との2つの違いがあります。（i）最適な混合物の信頼できる推定値を形成する推定ルーチンを伴い、（ii）最適な混合物を追跡するためのアーム選択画分をナビゲートする追跡メカニズムを備えています。
これらのアルゴリズムの後悔保証は、PMSのさまざまな代数形式で調査されます。

要約(オリジナル)

The objective of canonical multi-armed bandits is to identify and repeatedly select an arm with the largest reward, often in the form of the expected value of the arm’s probability distribution. Such a utilitarian perspective and focus on the probability models’ first moments, however, is agnostic to the distributions’ tail behavior and their implications for variability and risks in decision-making. This paper introduces a principled framework for shifting from expectation-based evaluation to an alternative reward formulation, termed a preference metric (PM). The PMs can place the desired emphasis on different reward realization and can encode a richer modeling of preferences that incorporate risk aversion, robustness, or other desired attitudes toward uncertainty. A fundamentally distinct observation in such a PM-centric perspective is that designing bandit algorithms will have a significantly different principle: as opposed to the reward-based models in which the optimal sampling policy converges to repeatedly sampling from the single best arm, in the PM-centric framework the optimal policy converges to selecting a mix of arms based on specific mixing weights. Designing such mixture policies departs from the principles for designing bandit algorithms in significant ways, primarily because of uncountable mixture possibilities. The paper formalizes the PM-centric framework and presents two algorithm classes (horizon-dependent and anytime) that learn and track mixtures in a regret-efficient fashion. These algorithms have two distinctions from their canonical counterparts: (i) they involve an estimation routine to form reliable estimates of optimal mixtures, and (ii) they are equipped with tracking mechanisms to navigate arm selection fractions to track the optimal mixtures. These algorithms’ regret guarantees are investigated under various algebraic forms of the PMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google