T-T: Table Transformer for Tagging-based Aspect Sentiment Triplet Extraction

要約

アスペクトセンチメントトリプレット抽出（ASTE）は、与えられた文からのアスペクト用語、意見用語、および感情の極性で構成されるトリプレットを抽出することを目的としています。
テーブルタグ付け方法は、このタスクに対処するための一般的なアプローチであり、文を2次元テーブルにエンコードし、2つの単語間の関係のタグを付けることができます。
以前の取り組みは、さまざまな下流の関係学習モジュールを設計して、テーブルのトークン間の相互作用をより適切にキャプチャすることに焦点を当てており、関係をキャプチャするより強力な能力がモデルの改善につながる可能性があることを明らかにしています。
これに動機付けられていると、トランス層を下流の関係学習モジュールとして直接利用しようとします。
トランスの強力なセマンティックモデリング機能により、これが優れた改善につながることが予見可能です。
ただし、テーブルの長さと入力文シーケンスの長さとの間の二次関係により、トランスを使用すると、2つの課題に直接直面します。
これらの課題に対処するために、タグ付けベースのASTEメソッドの新しいテーブルトランスフォーカー（T-T）を提案します。
具体的には、これらの課題に取り組むために、ループシフト戦略を備えたストライプの注意メカニズムを導入します。
前者は、グローバルな注意メカニズムを修正して、2次元のローカルな注意ウィンドウにのみ注意を払っていますが、後者は異なる注意ウィンドウ間の相互作用を促進します。
広範で包括的な実験は、下流の関係学習モジュールとしてのT-Tが、計算コストを削減して最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Aspect sentiment triplet extraction (ASTE) aims to extract triplets composed of aspect terms, opinion terms, and sentiment polarities from given sentences. The table tagging method is a popular approach to addressing this task, which encodes a sentence into a 2-dimensional table, allowing for the tagging of relations between any two words. Previous efforts have focused on designing various downstream relation learning modules to better capture interactions between tokens in the table, revealing that a stronger capability to capture relations can lead to greater improvements in the model. Motivated by this, we attempt to directly utilize transformer layers as downstream relation learning modules. Due to the powerful semantic modeling capability of transformers, it is foreseeable that this will lead to excellent improvement. However, owing to the quadratic relation between the length of the table and the length of the input sentence sequence, using transformers directly faces two challenges: overly long table sequences and unfair local attention interaction. To address these challenges, we propose a novel Table-Transformer (T-T) for the tagging-based ASTE method. Specifically, we introduce a stripe attention mechanism with a loop-shift strategy to tackle these challenges. The former modifies the global attention mechanism to only attend to a 2-dimensional local attention window, while the latter facilitates interaction between different attention windows. Extensive and comprehensive experiments demonstrate that the T-T, as a downstream relation learning module, achieves state-of-the-art performance with lower computational costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google