Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks

要約

モデル予測における信頼性は、現実の世界の安全性が重要なアプリケーションにとって重要です。
ただし、深いニューラルネットワークは、しばしば、誤解などの不確実性の推定の問題に悩まされています。
この研究では、$ k $ nearestの隣人の不確実性推定（$ k $ nn-ue）を提案します。これは、近隣からの距離だけでなく、近隣のラベルの比率も使用する新しい不確実性推定方法です。
感情分析、自然言語の推論、および名前付きエンティティ認識に関する実験は、提案された方法が、いくつかのキャリブレーションと不確実性メトリックにおけるベースラインと最近の密度ベースの方法を上回ることを示しています。
さらに、私たちの分析は、近隣の近隣の検索手法が、適切に組み合わされたときに不確実性の推定パフォーマンスを大幅に分解することなく、推論オーバーヘッドを減らすことを示しています。

要約(オリジナル)

Trustworthiness in model predictions is crucial for safety-critical applications in the real world. However, deep neural networks often suffer from the issues of uncertainty estimation, such as miscalibration. In this study, we propose $k$-Nearest Neighbor Uncertainty Estimation ($k$NN-UE), which is a new uncertainty estimation method that uses not only the distances from the neighbors, but also the ratio of labels in the neighbors. Experiments on sentiment analysis, natural language inference, and named entity recognition show that our proposed method outperforms the baselines and recent density-based methods in several calibration and uncertainty metrics. Moreover, our analyses indicate that approximate nearest neighbor search techniques reduce the inference overhead without significantly degrading the uncertainty estimation performance when they are appropriately combined.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google