Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging

要約

タイトル：確率重み平均を用いた不確実性-Aware自然言語推論

要約：

– SWAGを使用することで、自然言語理解（NLU）タスクでのベイジアン不確実性モデリングを導入する。
– SWAGのアプローチをNLUタスクの標準タスクである自然言語推論（NLI）に適用し、予測精度と人間の注釈不一致との相関における方法の効果を実証する。
– SWAGの不確実性表現が主観的な解釈と、人間の言語理解にも存在する自然な変動をより良く反映することを主張する。
– 結果は、NLUタスクにおいて、神経言語モデリングのしばしば無視される不確実性モデリングの重要性を明らかにする。

要約(オリジナル)

This paper introduces Bayesian uncertainty modeling using Stochastic Weight Averaging-Gaussian (SWAG) in Natural Language Understanding (NLU) tasks. We apply the approach to standard tasks in natural language inference (NLI) and demonstrate the effectiveness of the method in terms of prediction accuracy and correlation with human annotation disagreements. We argue that the uncertainty representations in SWAG better reflect subjective interpretation and the natural variation that is also present in human language understanding. The results reveal the importance of uncertainty modeling, an often neglected aspect of neural language modeling, in NLU tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI