Exploiting Contextual Target Attributes for Target Sentiment Classification

要約

TSC の既存の PTLM ベースのモデルは、次の 2 つのグループに分類できます。1) コンテキスト エンコーダとして PTLM を採用する微調整ベースのモデル。
2) 分類タスクをテキスト/単語生成タスクに転送するプロンプトベースのモデル。
このホワイトペーパーでは、TSC に PTLM を活用するという新しい視点を示します。これは、言語モデリングと、コンテキスト ターゲット属性を介した明示的なターゲットとコンテキストの相互作用の両方のメリットを同時に活用することです。
具体的には、ドメインおよびターゲットに制約されたクローゼ テストを設計します。これは、PTLM の強力な言語モデリング機能を活用して、レビュー コンテキストに関連する指定されたターゲットの属性を生成できます。
属性には、ターゲットの背景情報とプロパティ情報が含まれており、レビュー コンテキストとターゲットのセマンティクスを強化するのに役立ちます。
TSC に取り組むために属性を活用するために、まず属性をノードとして扱い、それらを (1) 既製の依存関係パーサーによって自動的に生成された構文グラフと、(2) のセマンティクス グラフと組み合わせることで、異種情報グラフを構築します。
セルフアテンションメカニズムから派生したレビューコンテキスト。
次に、属性情報、構文情報、およびコンテキスト情報間の相互作用をモデル化するための、異種情報ゲート型グラフ畳み込みネットワークを提案します。
3 つのベンチマーク データセットでの実験結果は、新たな最先端のパフォーマンスを実現するモデルの優位性を示しています。

要約(オリジナル)

Existing PTLM-based models for TSC can be categorized into two groups: 1) fine-tuning-based models that adopt PTLM as the context encoder; 2) prompting-based models that transfer the classification task to the text/word generation task. In this paper, we present a new perspective of leveraging PTLM for TSC: simultaneously leveraging the merits of both language modeling and explicit target-context interactions via contextual target attributes. Specifically, we design the domain- and target-constrained cloze test, which can leverage the PTLMs’ strong language modeling ability to generate the given target’s attributes pertaining to the review context. The attributes contain the background and property information of the target, which can help to enrich the semantics of the review context and the target. To exploit the attributes for tackling TSC, we first construct a heterogeneous information graph by treating the attributes as nodes and combining them with (1) the syntax graph automatically produced by the off-the-shelf dependency parser and (2) the semantics graph of the review context, which is derived from the self-attention mechanism. Then we propose a heterogeneous information gated graph convolutional network to model the interactions among the attribute information, the syntactic information, and the contextual information. The experimental results on three benchmark datasets demonstrate the superiority of our model, which achieves new state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google