Rethinking Relation Extraction: Beyond Shortcuts to Generalization with a Debiased Benchmark

要約

ベンチマークは、機械学習アルゴリズムの性能を評価し、比較を容易にし、優れた解を特定するために極めて重要である。しかし、データセット内のバイアスは、モデルが近道パターンを学習することにつながり、不正確な評価をもたらし、実世界での適用を妨げる可能性がある。本稿では、関係抽出タスクにおけるエンティティの偏りの問題を扱う。我々は、エンティティの置換を通じて、エンティティの言及と関係タイプの間の擬似的な相関を解消する、偏りのない関係抽出ベンチマークDREBを提案する。DREBはBias EvaluatorとPPL Evaluatorを利用することで、低いバイアスと高い自然性を保証し、エンティティバイアスのシナリオにおけるモデルの汎化の信頼性と正確な評価を提供する。DREBの新たなベースラインを確立するために、データレベルとモデル学習レベルの技術を組み合わせたデビアス手法であるMixDebiasを導入する。MixDebiasは、元のデータセットでの性能を維持しながら、DREBでのモデル性能を効果的に向上させる。広範な実験により、既存の手法と比較してMixDebiasの有効性と頑健性が実証され、関係抽出モデルの汎化能力を向上させる可能性が強調されました。今後、DREBとMixDebiasを一般公開する予定です。

要約(オリジナル)

Benchmarks are crucial for evaluating machine learning algorithm performance, facilitating comparison and identifying superior solutions. However, biases within datasets can lead models to learn shortcut patterns, resulting in inaccurate assessments and hindering real-world applicability. This paper addresses the issue of entity bias in relation extraction tasks, where models tend to rely on entity mentions rather than context. We propose a debiased relation extraction benchmark DREB that breaks the pseudo-correlation between entity mentions and relation types through entity replacement. DREB utilizes Bias Evaluator and PPL Evaluator to ensure low bias and high naturalness, providing a reliable and accurate assessment of model generalization in entity bias scenarios. To establish a new baseline on DREB, we introduce MixDebias, a debiasing method combining data-level and model training-level techniques. MixDebias effectively improves model performance on DREB while maintaining performance on the original dataset. Extensive experiments demonstrate the effectiveness and robustness of MixDebias compared to existing methods, highlighting its potential for improving the generalization ability of relation extraction models. We will release DREB and MixDebias publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL