CREST: A Joint Framework for Rationalization and Counterfactual Text Generation

要約

選択的根拠と反事実の例は、NLP モデルを分析およびトレーニングするための 2 つの効果的で補完的なクラスの解釈可能性メソッドとして出現しました。
しかし、これまでの研究では、これらの方法をどのように統合して、その補完的な利点を組み合わせることができるかについては検討されていませんでした。
我々は、選択的合理化と反事実テキスト生成のための共同フレームワークである CREST (ContRastive Edits with Sparse Rationalization) を導入することでこの制限を克服し、このフレームワークが反事実の品質、モデルの堅牢性、解釈可能性の向上につながることを示します。
まず、CREST は、以前の方法で生成されたものよりも自然な有効な反事実を生成し、その後、大規模なデータ拡張に使用できるため、人間が生成した例の必要性が減ります。
次に、CREST 反事実を利用して選択的根拠を正則化する新しい損失関数を導入し、この正則化により、CREST 反事実を利用しない方法と比較して、モデルの堅牢性と理論的品質の両方が向上することを示します。
私たちの結果は、CRESTが選択的根拠と反事実の例の間のギャップをうまく埋め、既存の手法の限界に対処し、モデルの予測のより包括的なビューを提供することを示しています。

要約(オリジナル)

Selective rationales and counterfactual examples have emerged as two effective, complementary classes of interpretability methods for analyzing and training NLP models. However, prior work has not explored how these methods can be integrated to combine their complementary advantages. We overcome this limitation by introducing CREST (ContRastive Edits with Sparse raTionalization), a joint framework for selective rationalization and counterfactual text generation, and show that this framework leads to improvements in counterfactual quality, model robustness, and interpretability. First, CREST generates valid counterfactuals that are more natural than those produced by previous methods, and subsequently can be used for data augmentation at scale, reducing the need for human-generated examples. Second, we introduce a new loss function that leverages CREST counterfactuals to regularize selective rationales and show that this regularization improves both model robustness and rationale quality, compared to methods that do not leverage CREST counterfactuals. Our results demonstrate that CREST successfully bridges the gap between selective rationales and counterfactual examples, addressing the limitations of existing methods and providing a more comprehensive view of a model’s predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google