Revisiting Softmax for Uncertainty Approximation in Text Classification

要約

テキスト分類における不確実性の近似は、ドメイン適応と解釈可能性への応用において重要な分野です。
最も広く使用されている不確実性近似法の 1 つはモンテカルロ (MC) ドロップアウトです。これはモデルを複数回前方に通過する必要があるため、計算コストが高くなります。
より安価な代替方法は、ドロップアウトのない単一の順方向パスに基づくソフトマックスを単純に使用して、モデルの不確実性を推定することです。
ただし、これまでの研究では、これらの予測は自信過剰になる傾向があることが示されています。
この論文では、2 つの基本ニューラル アーキテクチャを持つ 5 つのデータセットに対してこれらの手法の徹底的な実証分析を実行し、2 つの手法間のトレードオフを特定します。
Softmax と MC Dropout の効率的なバージョンの両方を、実行時間 (コスト) とパフォーマンス (利点) を比較しながら、不確実性近似とダウンストリーム テキスト分類パフォーマンスについて比較します。
MC ドロップアウトは最良の不確実性近似を生成しますが、単純なソフトマックスを使用すると、はるかに低い計算コストでテキスト分類のための競争力のある、場合によってはより優れた不確実性推定が可能になることがわかり、計算時にソフトマックスが実際に十分な不確実性推定になり得ることを示唆しています。
資源が懸念される。

要約(オリジナル)

Uncertainty approximation in text classification is an important area with applications in domain adaptation and interpretability. One of the most widely used uncertainty approximation methods is Monte Carlo (MC) Dropout, which is computationally expensive as it requires multiple forward passes through the model. A cheaper alternative is to simply use the softmax based on a single forward pass without dropout to estimate model uncertainty. However, prior work has indicated that these predictions tend to be overconfident. In this paper, we perform a thorough empirical analysis of these methods on five datasets with two base neural architectures in order to identify the trade-offs between the two. We compare both softmax and an efficient version of MC Dropout on their uncertainty approximations and downstream text classification performance, while weighing their runtime (cost) against performance (benefit). We find that, while MC dropout produces the best uncertainty approximations, using a simple softmax leads to competitive and in some cases better uncertainty estimation for text classification at a much lower computational cost, suggesting that softmax can in fact be a sufficient uncertainty estimate when computational resources are a concern.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google