CommonsenseVIS: Visualizing and Understanding Commonsense Reasoning Capabilities of Natural Language Models

要約

最近、大規模な事前トレーニング済み言語モデルが、常識的なベンチマークで説得力のあるパフォーマンスを達成しています。
それにもかかわらず、モデルがどのような常識知識を学習するのか、またモデルが偽のパターンのみを利用するのかどうかは不明です。
特徴属性は、モデル出力に対する重要な入力概念を特定する一般的な説明可能性手法です。
ただし、常識的な知識は暗黙的なものになる傾向があり、入力として明示的に示されることはほとんどありません。
これらのメソッドは、言及された概念に対するモデルの暗黙的な推論を推論できません。
我々は、外部の常識知識ベースを利用して常識的な質問に答えるためのモデルの動作を文脈化する視覚的説明システムである CommonsenseVIS を紹介します。
具体的には、入力内の関連する常識的な知識を参照として抽出し、モデルの動作を人間の知識と一致させます。
当社のシステムは、マルチレベルの視覚化と、さまざまな概念とその根底にある関係を調べるインタラクティブなモデルの調査と編集を特徴としています。
ユーザー調査を通じて、CommonsenseVIS が、NLP 専門家がさまざまな状況における概念に対するモデルの関係推論の体系的かつスケーラブルな視覚分析を実行するのに役立つことを示します。

要約(オリジナル)

Recently, large pretrained language models have achieved compelling performance on commonsense benchmarks. Nevertheless, it is unclear what commonsense knowledge the models learn and whether they solely exploit spurious patterns. Feature attributions are popular explainability techniques that identify important input concepts for model outputs. However, commonsense knowledge tends to be implicit and rarely explicitly presented in inputs. These methods cannot infer models’ implicit reasoning over mentioned concepts. We present CommonsenseVIS, a visual explanatory system that utilizes external commonsense knowledge bases to contextualize model behavior for commonsense question-answering. Specifically, we extract relevant commonsense knowledge in inputs as references to align model behavior with human knowledge. Our system features multi-level visualization and interactive model probing and editing for different concepts and their underlying relations. Through a user study, we show that CommonsenseVIS helps NLP experts conduct a systematic and scalable visual analysis of models’ relational reasoning over concepts in different situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google