Explanation Regeneration via Information Bottleneck

要約

NLP モデルのブラックボックス予測を自然かつ正確に説明することは、自然言語生成における重要な未解決の問題です。
これらの自由記述の説明には、予測を裏付ける議論を形成するために十分かつ慎重に選択された証拠が含まれることが期待されます。
大規模な事前トレーニング済み言語モデルの優れた生成能力により、即時エンジニアリングに基づいて構築された最近の研究により、特別なトレーニングなしで説明を生成できるようになりました。
ただし、単一パスのプロンプトによって生成される説明は、十分性や簡潔さを欠いていることがよくあります。
この問題に対処するために、私たちは、十分かつ簡潔で洗練された説明を生成する情報ボトルネック手法 EIB を開発します。
私たちのアプローチでは、事前トレーニングされた言語モデルからのシングルパス出力を磨きながら、説明されている内容をサポートする情報を保持することで、フリーテキストの説明を再生成します。
2 つのドメイン外タスクに関する実験では、自動評価と徹底した人間による評価を通じて EIB の有効性が検証されます。

要約(オリジナル)

Explaining the black-box predictions of NLP models naturally and accurately is an important open problem in natural language generation. These free-text explanations are expected to contain sufficient and carefully-selected evidence to form supportive arguments for predictions. Due to the superior generative capacity of large pretrained language models, recent work built on prompt engineering enables explanation generation without specific training. However, explanation generated through single-pass prompting often lacks sufficiency and conciseness. To address this problem, we develop an information bottleneck method EIB to produce refined explanations that are sufficient and concise. Our approach regenerates the free-text explanation by polishing the single-pass output from the pretrained language model but retaining the information that supports the contents being explained. Experiments on two out-of-domain tasks verify the effectiveness of EIB through automatic evaluation and thoroughly-conducted human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google