SMARTe: Slot-based Method for Accountable Relational Triple extraction

要約

リレーショナルトリプル抽出（RTE）は、自然言語処理（NLP）の基本的なタスクです。
ただし、以前の研究では、主にモデルのパフォーマンスの最適化に焦点を当てており、これらのモデルを駆動する内部メカニズムを理解するための限られた取り組みがあります。
多くの既存の方法は、特定の相互作用を誘導するために複雑な前処理に依存しており、多くの場合、理論的基礎と完全に整合しない不透明なシステムをもたらすことがよくあります。
これらの制限に対処するために、Smarte：説明責任のあるリレーショナルトリプル抽出のためのスロットベースの方法を提案します。
Smarteは、スロット注意メカニズムを通じて本質的な解釈可能性を導入し、タスクを設定された予測問題としてフレーム化します。
スロット注意関連情報を明確なスロットに統合し、学習したスロット表現と予測される各リレーショナルトリプルに寄与するトークンに対してすべての予測を明示的に追跡できるようにします。
解釈可能性を強調しながら、Smarteは最先端のモデルに匹敵するパフォーマンスを達成します。
NYTおよびWebNLGデータセットの評価は、解釈性を追加してもパフォーマンスを損なうことがないことを示しています。
さらに、それぞれのトークンにマッピングする注意ヒートマップを使用して、Smarteが提供する説明を紹介するために定性的評価を実施しました。
私たちは私たちの調査結果について議論し、将来の研究の方向性を提案します。

要約(オリジナル)

Relational Triple Extraction (RTE) is a fundamental task in Natural Language Processing (NLP). However, prior research has primarily focused on optimizing model performance, with limited efforts to understand the internal mechanisms driving these models. Many existing methods rely on complex preprocessing to induce specific interactions, often resulting in opaque systems that may not fully align with their theoretical foundations. To address these limitations, we propose SMARTe: a Slot-based Method for Accountable Relational Triple extraction. SMARTe introduces intrinsic interpretability through a slot attention mechanism and frames the task as a set prediction problem. Slot attention consolidates relevant information into distinct slots, ensuring all predictions can be explicitly traced to learned slot representations and the tokens contributing to each predicted relational triple. While emphasizing interpretability, SMARTe achieves performance comparable to state-of-the-art models. Evaluations on the NYT and WebNLG datasets demonstrate that adding interpretability does not compromise performance. Furthermore, we conducted qualitative assessments to showcase the explanations provided by SMARTe, using attention heatmaps that map to their respective tokens. We conclude with a discussion of our findings and propose directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google