Graph-Guided Textual Explanation Generation Framework

要約

自然言語の説明（NLE）は、モデルの予測に関する推論のもっともらしい自由テキストの説明を提供するために一般的に使用されます。
しかし、最近の研究は彼らの忠実さに疑問を呈しています。なぜなら、彼らは予測された答えに関するモデルの内部推論プロセスを正確に反映していない可能性があるからです。
対照的に、説明 – モデルの予測された答えに重要な入力フラグメント – 測定可能な忠実さを抑制する説明を強調します。
この基盤に基づいて、NLEの忠実さを高めるために設計されたグラフ誘導テキスト説明生成フレームワークであるG-Texを提案します。
具体的には、ハイライトの説明は、最初に、回答予測に対するモデルの推論ロジックを反映した忠実な手がかりとして抽出されます。
その後、グラフニューラルネットワークレイヤーを介してエンコードされ、NLE生成をガイドします。NLE生成は、生成された説明を予測された答えに向けたモデルの根本的な推論に合わせます。
3つの推論データセットを使用したT5とBARTの実験は、G-Texがベースラインの方法と比較してNLEの忠実さを最大12.18％改善することを示しています。
さらに、G-Texは、人間が作成したものとより大きな意味的および語彙的類似性を持つNLEを生成します。
人間の評価は、G-Texが冗長コンテンツを減らし、NLEの全体的な品質を向上させることができることを示しています。
私たちの作品は、NLE生成を強化するためにNLE生成を明示的に導くための新しい方法を提示し、NLEおよび生成されたテキストのより広い基準に対処するための基盤として機能します。

要約(オリジナル)

Natural language explanations (NLEs) are commonly used to provide plausible free-text explanations of a model’s reasoning about its predictions. However, recent work has questioned their faithfulness, as they may not accurately reflect the model’s internal reasoning process regarding its predicted answer. In contrast, highlight explanations–input fragments critical for the model’s predicted answers–exhibit measurable faithfulness. Building on this foundation, we propose G-Tex, a Graph-Guided Textual Explanation Generation framework designed to enhance the faithfulness of NLEs. Specifically, highlight explanations are first extracted as faithful cues reflecting the model’s reasoning logic toward answer prediction. They are subsequently encoded through a graph neural network layer to guide the NLE generation, which aligns the generated explanations with the model’s underlying reasoning toward the predicted answer. Experiments on T5 and BART using three reasoning datasets show that G-Tex improves NLE faithfulness by up to 12.18% compared to baseline methods. Additionally, G-Tex generates NLEs with greater semantic and lexical similarity to human-written ones. Human evaluations show that G-Tex can decrease redundant content and enhance the overall quality of NLEs. Our work presents a novel method for explicitly guiding NLE generation to enhance faithfulness, serving as a foundation for addressing broader criteria in NLE and generated text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google