GADePo: Graph-Assisted Declarative Pooling Transformers for Document-Level Relation Extraction

要約

ドキュメントレベルの関係抽出は通常、テキストベースのエンコーダーと、エンコーダーによって学習された情報を集約するための手作業でコーディングされたプーリングヒューリスティックに依存します。
この論文では、Transformer モデルの固有のグラフ処理機能を活用し、手作業でコーディングされたプーリング手法を入力内の新しいトークンに置き換えることを提案します。このトークンは、アテンションの重みの計算において明示的なグラフ関係を介して情報を集約するように設計されています。
結合テキスト グラフ Transformer モデルと入力のグラフ支援宣言プーリング (GADePo) 仕様を導入します。これにより、情報集約のための明示的かつ高レベルの指示が提供されます。
GADePo を使用すると、プーリング プロセスをドメイン固有の知識や望ましい結果によってガイドしながら、Transformer によって学習できるため、より柔軟でカスタマイズ可能なプーリング戦略が実現します。
私たちはさまざまなデータセットとモデルにわたって私たちの方法を評価し、私たちのアプローチが手動でコーディングされたプーリング関数によって達成される結果よりも一貫して優れた有望な結果を生み出すことを示します。

要約(オリジナル)

Document-level relation extraction typically relies on text-based encoders and hand-coded pooling heuristics to aggregate information learned by the encoder. In this paper, we leverage the intrinsic graph processing capabilities of the Transformer model and propose replacing hand-coded pooling methods with new tokens in the input, which are designed to aggregate information via explicit graph relations in the computation of attention weights. We introduce a joint text-graph Transformer model and a graph-assisted declarative pooling (GADePo) specification of the input, which provides explicit and high-level instructions for information aggregation. GADePo allows the pooling process to be guided by domain-specific knowledge or desired outcomes but still learned by the Transformer, leading to more flexible and customisable pooling strategies. We evaluate our method across diverse datasets and models and show that our approach yields promising results that are consistently better than those achieved by the hand-coded pooling functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google