RORA: Robust Free-Text Rationale Evaluation

要約

フリーテキストの推論は、モデルの意思決定の背後にある知識と推論のギャップを埋める、説明可能なNLPにおいて極めて重要な役割を果たします。しかし、潜在的な推論パスの多様性と、それに対応する決定的なグランドトゥルースの欠如により、その評価は依然として難題である。既存の評価指標は、推論がターゲットラベルをサポートする度合いに依存しているが、ラベルを不注意に漏らす推論を評価するには不十分である。この問題に対処するため、我々はRORA（Robust free-text Rationale evaluation against label leakage）を提案する。RORAは、ラベルを正当化するために根拠によって提供される新しい情報を定量化する。これは、小さなモデルで利用可能な、リーク特徴に対してロバストな予測ファミリーを用いて、条件付きV情報 \citep{hewitt-etal-2021-conditional} を評価することで達成される。RORAは、人間が書いた、合成された、あるいはモデルによって生成された根拠を評価する際に、既存のアプローチを一貫して凌駕し、特にラベルリークに対する頑健性を示す。また、RORAが人間の判断とよく一致し、多様なフリーテキストの根拠に対してより信頼性の高い正確な測定を提供することを示す。

要約(オリジナル)

Free-text rationales play a pivotal role in explainable NLP, bridging the knowledge and reasoning gaps behind a model’s decision-making. However, due to the diversity of potential reasoning paths and a corresponding lack of definitive ground truth, their evaluation remains a challenge. Existing evaluation metrics rely on the degree to which a rationale supports a target label, but we find these fall short in evaluating rationales that inadvertently leak the labels. To address this problem, we propose RORA, a Robust free-text Rationale evaluation against label leakage. RORA quantifies the new information supplied by a rationale to justify the label. This is achieved by assessing the conditional V-information \citep{hewitt-etal-2021-conditional} with a predictive family robust against leaky features that can be exploited by a small model. RORA consistently outperforms existing approaches in evaluating human-written, synthetic, or model-generated rationales, particularly demonstrating robustness against label leakage. We also show that RORA aligns well with human judgment, providing a more reliable and accurate measurement across diverse free-text rationales.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL