When Does Confidence-Based Cascade Deferral Suffice?

要約

カスケードは、サンプル間で推論コストを適応的に変化させるための古典的な戦略であり、一連の分類器が順番に呼び出されます。
延期ルールは、シーケンス内の次の分類子を呼び出すか、予測を終了するかを決定します。
1 つの単純な延期ルールは、たとえば最大予測ソフトマックス確率に基づいて、現在の分類器の信頼度を使用します。
このような信頼に基づく延期は、カスケードの構造を意識していない (たとえば、下流モデルのエラーをモデル化していない) にもかかわらず、実際には非常にうまく機能することがよくあります。
このホワイトペーパーでは、信頼に基づく延期が失敗する可能性がある条件と、代替の延期戦略がより優れたパフォーマンスを発揮できる場合について、より深く理解することを目指します。
まず、最適な延期ルールの理論的特徴付けを提示します。これは、信頼に基づく延期が影響を受ける可能性がある設定を正確に特徴付けます。
次に、事後の延期メカニズムを研究し、(i) 下流モデルが入力のサブセットでのみ適切に動作する専門家である、(ii) サンプルがラベル ノイズの影響を受ける、
(iii) トレインとテスト セットの間に分布のシフトがあります。

要約(オリジナル)

Cascades are a classical strategy to enable inference cost to vary adaptively across samples, wherein a sequence of classifiers are invoked in turn. A deferral rule determines whether to invoke the next classifier in the sequence, or to terminate prediction. One simple deferral rule employs the confidence of the current classifier, e.g., based on the maximum predicted softmax probability. Despite being oblivious to the structure of the cascade — e.g., not modelling the errors of downstream models — such confidence-based deferral often works remarkably well in practice. In this paper, we seek to better understand the conditions under which confidence-based deferral may fail, and when alternate deferral strategies can perform better. We first present a theoretical characterisation of the optimal deferral rule, which precisely characterises settings under which confidence-based deferral may suffer. We then study post-hoc deferral mechanisms, and demonstrate they can significantly improve upon confidence-based deferral in settings where (i) downstream models are specialists that only work well on a subset of inputs, (ii) samples are subject to label noise, and (iii) there is distribution shift between the train and test set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google