Efficient Online Set-valued Classification with Bandit Feedback

要約

等角予測は、特定の機械学習モデルをラップし、所定のカバレッジ率を持つ真のラベルを含む妥当なラベルのセットを返す、分布フリーの方法です。
実際には、達成される経験的なカバレッジは、モデル フィッティングのトレーニング フェーズと分位点推定のキャリブレーション フェーズの両方で、データから完全に観察されたラベル情報に大きく依存します。
この依存関係は、バンディット フィードバックを伴うオンライン学習のコンテキストにおいて課題を引き起こします。学習者は、アクション (腕を引っ張ったなど) の正しさにしかアクセスできず、真のラベルの完全な情報にはアクセスできません。
特に、引かれた腕が間違っている場合、学習者は引かれた腕が真のクラス ラベルではないことだけを知り、どのラベルが真であるかは知りません。
さらに、バンディット フィードバックにより、正しいアクションを持つインスタンスに限定された、キャリブレーション用のラベル付きデータセットがさらに小さくなり、それにより分位点推定の精度に影響を与えます。
これらの制限に対処するために、クラス固有の粒度でカバレッジ保証を提供する Bandit クラス固有の等角予測 (BCCP) を提案します。
BCCP は、真のラベルを含む推定値の不偏推定を使用してモデルをトレーニングし、確率的勾配降下法を通じて設定値の推論を行います。
私たちのアプローチは、反復ごとにまばらにラベル付けされたデータの課題を克服し、オンライン意思決定環境に対する等角予測の信頼性と適用性を一般化します。

要約(オリジナル)

Conformal prediction is a distribution-free method that wraps a given machine learning model and returns a set of plausible labels that contain the true label with a prescribed coverage rate. In practice, the empirical coverage achieved highly relies on fully observed label information from data both in the training phase for model fitting and the calibration phase for quantile estimation. This dependency poses a challenge in the context of online learning with bandit feedback, where a learner only has access to the correctness of actions (i.e., pulled an arm) but not the full information of the true label. In particular, when the pulled arm is incorrect, the learner only knows that the pulled one is not the true class label, but does not know which label is true. Additionally, bandit feedback further results in a smaller labeled dataset for calibration, limited to instances with correct actions, thereby affecting the accuracy of quantile estimation. To address these limitations, we propose Bandit Class-specific Conformal Prediction (BCCP), offering coverage guarantees on a class-specific granularity. Using an unbiased estimation of an estimand involving the true label, BCCP trains the model and makes set-valued inferences through stochastic gradient descent. Our approach overcomes the challenges of sparsely labeled data in each iteration and generalizes the reliability and applicability of conformal prediction to online decision-making environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google