GADePo: Graph-Assisted Declarative Pooling Transformers for Document-Level Relation Extraction

要約

ドキュメントレベルの関係抽出は、ドキュメント内のエンティティ間の関係を識別することを目的としています。
現在の方法は、テキストベースのエンコーダーに依存しており、エンティティの言及と関連するコンテキストから情報を集約するために、さまざまな手作業でコーディングされたプーリング ヒューリスティックを採用しています。
このペーパーでは、Transformer モデルの固有のグラフ処理機能を活用して、これらの厳密なプーリング関数を明示的なグラフ関係に置き換えます。
我々は、テキストとグラフの結合 Transformer モデルと、情報集約のための明示的かつ高レベルの命令を提供する入力のグラフ支援型宣言プーリング (GADePo) 仕様を提案します。
これにより、プーリング プロセスはドメイン固有の知識や望ましい結果によってガイドされながらも、Transformer によって学習されるため、より柔軟でカスタマイズ可能なプーリング戦略が実現します。
私たちは、さまざまなデータセットとモデルにわたって私たちの方法を広範囲に評価し、私たちのアプローチが手作業でコーディングされたプーリング関数によって達成されるものと同等の有望な結果を生み出すことを示します。

要約(オリジナル)

Document-level relation extraction aims to identify relationships between entities within a document. Current methods rely on text-based encoders and employ various hand-coded pooling heuristics to aggregate information from entity mentions and associated contexts. In this paper, we replace these rigid pooling functions with explicit graph relations by leveraging the intrinsic graph processing capabilities of the Transformer model. We propose a joint text-graph Transformer model, and a graph-assisted declarative pooling (GADePo) specification of the input which provides explicit and high-level instructions for information aggregation. This allows the pooling process to be guided by domain-specific knowledge or desired outcomes but still learned by the Transformer, leading to more flexible and customizable pooling strategies. We extensively evaluate our method across diverse datasets and models, and show that our approach yields promising results that are comparable to those achieved by the hand-coded pooling functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google