Towards a Framework for Evaluating Explanations in Automated Fact Verification

要約

NLP のディープ ニューラル モデルがより複雑になり、その結果不透明になるにつれて、モデルを解釈する必要性が高まります。
予測に対して短く一貫した根拠を提供するために、説明を合理化することに関心が高まっています。
この意見書では、体系的に評価をサポートするために説明を合理化するための主要な概念と特性の正式な枠組みを提唱します。
また、自由形式の説明から演繹的説明、そして（最も豊富な構造を備えた）議論的な説明に至るまで、ますます複雑化する構造の説明を合理化するために調整された、そのような形式的な枠組みの 1 つについて概説します。
自動化された事実検証タスクに焦点を当て、さまざまな構造に合わせて説明を評価するための形式化の使用法と有用性を図解で示します。

要約(オリジナル)

As deep neural models in NLP become more complex, and as a consequence opaque, the necessity to interpret them becomes greater. A burgeoning interest has emerged in rationalizing explanations to provide short and coherent justifications for predictions. In this position paper, we advocate for a formal framework for key concepts and properties about rationalizing explanations to support their evaluation systematically. We also outline one such formal framework, tailored to rationalizing explanations of increasingly complex structures, from free-form explanations to deductive explanations, to argumentative explanations (with the richest structure). Focusing on the automated fact verification task, we provide illustrations of the use and usefulness of our formalization for evaluating explanations, tailored to their varying structures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google