Efficient Uncertainty Estimation with Gaussian Process for Reliable Dialog Response Retrieval

要約

ディープ ニューラル ネットワークは、検索ベースの対話システムで驚くべきパフォーマンスを達成しましたが、調整が不十分であることが示されています。
モンテカルロ ドロップアウトやアンサンブルなどの基本的なキャリブレーション方法は適切にキャリブレーションできますが、これらの方法はトレーニングまたは推論段階で時間がかかります。
これらの課題に取り組むために、BERTベースの会話検索用の効率的な不確実性キャリブレーションフレームワークGPF-BERTを提案します。これは、ガウスプロセスレイヤーとBERTアーキテクチャの上に焦点損失を採用して、高品質のニューラルランカーを実現します。
この方法の有効性を検証するために、広範な実験が行われます。
基本的なキャリブレーション方法と比較して、GPF-BERT は 3 つのドメイン内データセットと分布シフト タスクで最小の経験的キャリブレーション エラー (ECE) を達成し、ほとんどの場合で最高の $R_{10}@1$ と MAP パフォーマンスをもたらします。
時間消費に関しては、GPF-BERT は 8$\times$ 高速化されています。

要約(オリジナル)

Deep neural networks have achieved remarkable performance in retrieval-based dialogue systems, but they are shown to be ill calibrated. Though basic calibration methods like Monte Carlo Dropout and Ensemble can calibrate well, these methods are time-consuming in the training or inference stages. To tackle these challenges, we propose an efficient uncertainty calibration framework GPF-BERT for BERT-based conversational search, which employs a Gaussian Process layer and the focal loss on top of the BERT architecture to achieve a high-quality neural ranker. Extensive experiments are conducted to verify the effectiveness of our method. In comparison with basic calibration methods, GPF-BERT achieves the lowest empirical calibration error (ECE) in three in-domain datasets and the distributional shift tasks, while yielding the highest $R_{10}@1$ and MAP performance on most cases. In terms of time consumption, our GPF-BERT has an 8$\times$ speedup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google