On the Calibration and Uncertainty with Pólya-Gamma Augmentation for Dialog Retrieval Models

要約

ディープ ニューラル検索モデルはその力を十分に発揮していますが、その予測の信頼性を推定することは依然として困難です。
ほとんどのダイアログ応答検索モデルは、応答が特定の質問にどの程度関連しているかについて、単一のスコアを出力します。
ただし、深層ニューラル ネットワークの不適切なキャリブレーションにより、単一のスコアにさまざまな不確実性が生じ、信頼できない予測が常にユーザーの決定を誤って伝えます。
これらの問題を調査するために、対話応答検索モデル用の効率的なキャリブレーションおよび不確実性推定フレームワーク PG-DRR を提示します。これは、ガウス過程レイヤーを決定論的ディープ ニューラル ネットワークに追加し、P\'{o}lya- による扱いやすい事後推論の共役を回復します。
ガンマ増強。
最後に、PG-DRR は、$R_{10}@1$ と MAP のパフォーマンスを維持しながら、ドメイン内データセットと分布シフト タスクで最小の経験的キャリブレーション エラー (ECE) を達成します。

要約(オリジナル)

Deep neural retrieval models have amply demonstrated their power but estimating the reliability of their predictions remains challenging. Most dialog response retrieval models output a single score for a response on how relevant it is to a given question. However, the bad calibration of deep neural network results in various uncertainty for the single score such that the unreliable predictions always misinform user decisions. To investigate these issues, we present an efficient calibration and uncertainty estimation framework PG-DRR for dialog response retrieval models which adds a Gaussian Process layer to a deterministic deep neural network and recovers conjugacy for tractable posterior inference by P\'{o}lya-Gamma augmentation. Finally, PG-DRR achieves the lowest empirical calibration error (ECE) in the in-domain datasets and the distributional shift task while keeping $R_{10}@1$ and MAP performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google