Deep Neural Network Benchmarks for Selective Classification

要約

多くの社会的に機密性の高いタスクで機械学習モデルの導入が進むにつれ、信頼性の高い予測に対する需要が高まっています。
これらの要件を達成する 1 つの方法は、エラーが発生するリスクが高い場合にモデルが予測を行わないようにすることです。
これには、モデルが予測を提供するサンプルを選択する選択メカニズムをモデルに追加する必要があります。
選択的分類フレームワークは、拒否された予測の割合 (つまり、モデルが予測を行わない例の割合) と、選択された予測に対する予測パフォーマンスの向上のバランスを取るメカニズムを設計することを目的としています。
複数の選択的分類フレームワークが存在し、そのほとんどはディープ ニューラル ネットワーク アーキテクチャに依存しています。
しかし、既存のアプローチの経験的評価は依然として方法と設定間の部分的な比較に限定されており、実践者はそれらの相対的な利点についてほとんど洞察を得ることができません。
私たちは、画像データと表形式データの両方を含む 44 のデータセットからなる多様なセットに対して 18 のベースラインをベンチマークすることで、このギャップを埋めています。
さらに、バイナリ タスクとマルチクラス タスクが混在しています。
これらのアプローチは、選択的エラー率、経験的カバレッジ、拒否されたインスタンスのクラスの分布、分布外のインスタンスでのパフォーマンスなど、いくつかの基準を使用して評価されます。
結果は、調査対象のベースラインの中で唯一の明確な勝者はなく、最適な方法はユーザーの目的によって異なることを示しています。

要約(オリジナル)

With the increasing deployment of machine learning models in many socially-sensitive tasks, there is a growing demand for reliable and trustworthy predictions. One way to accomplish these requirements is to allow a model to abstain from making a prediction when there is a high risk of making an error. This requires adding a selection mechanism to the model, which selects those examples for which the model will provide a prediction. The selective classification framework aims to design a mechanism that balances the fraction of rejected predictions (i.e., the proportion of examples for which the model does not make a prediction) versus the improvement in predictive performance on the selected predictions. Multiple selective classification frameworks exist, most of which rely on deep neural network architectures. However, the empirical evaluation of the existing approaches is still limited to partial comparisons among methods and settings, providing practitioners with little insight into their relative merits. We fill this gap by benchmarking 18 baselines on a diverse set of 44 datasets that includes both image and tabular data. Moreover, there is a mix of binary and multiclass tasks. We evaluate these approaches using several criteria, including selective error rate, empirical coverage, distribution of rejected instance’s classes, and performance on out-of-distribution instances. The results indicate that there is not a single clear winner among the surveyed baselines, and the best method depends on the users’ objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google