Joint Training for Selective Prediction

要約

分類子モデルは自然言語処理 (NLP) で普及しており、多くの場合精度が高くなります。
しかし、現実世界の設定では、人間参加型システムによってモデルの出力に対する信頼が高まり、パフォーマンスがさらに向上する可能性があります。
選択的予測 (SP) メソッドは、分類器の出力をいつ採用するか、人間に委ねるかを決定します。
以前の SP アプローチでは、モデルの信頼性の尺度としてソフトマックスを改善する方法に取り組んだり、別個の信頼推定器を開発したりしてきました。
以前の方法の 1 つは、エンジニアリングされた特徴に基づいて遅延モデルを学習することを必要とします。
分類器モジュールによって使用される学習された表現と学習された延期ポリシーを同時に最適化する、新しい共同トレーニング アプローチを導入します。
4 つの分類タスクに関する結果は、共同トレーニングが 2 つの強力なベースラインを超えて SP の結果を向上させるだけでなく、両方のモジュールのパフォーマンスも向上させることを示しています。

要約(オリジナル)

Classifier models are prevalent in natural language processing (NLP), often with high accuracy. Yet in real world settings, human-in-the-loop systems can foster trust in model outputs and even higher performance. Selective Prediction (SP) methods determine when to adopt a classifier’s output versus defer to a human. Previous SP approaches have addressed how to improve softmax as a measure of model confidence, or have developed separate confidence estimators. One previous method involves learning a deferral model based on engineered features. We introduce a novel joint-training approach that simultaneously optimizes learned representations used by the classifier module and a learned deferral policy. Our results on four classification tasks demonstrate that joint training not only leads to better SP outcomes over two strong baselines, but also improves the performance of both modules.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google