Discourse Relation Embeddings: Representing the Relations between Discourse Segments in Social Media

要約

談話関係は通常、テキストのセグメント間の関係を特徴付ける個別のクラスとしてモデル化されます (例: 因果関係の説明、展開)。
ただし、このような事前定義された個別のクラスは、潜在的な関係とそれらの微妙な違いの世界を制限します。
文脈上の単語の埋め込みと同様に、談話関係を高次元の連続空間内の点として表すことを提案します。
ただし、言葉とは異なり、談話関係には表面的な形式がないことが多く (関係は 2 つのセグメント間にあり、多くの場合、そのギャップには単語やフレーズがありません)、既存の埋め込み技術に課題を提示します。
談話関係埋め込み (DiscRE) を自動的に作成するための新しい方法を提示し、ソーシャル メディアの談話セグメント間の多様で微妙な関係を学習するために、弱く監視されたマルチタスク アプローチを通じて埋め込みの課題に対処します。
結果は、DiscRE が次のことができることを示しています: (1) Twitter 談話関係分類タスクで最高のパフォーマンスを得る (マクロ F1=0.76) (2) ソーシャル メディアの因果関係予測の最先端を改善する (F1=.79 から .81 へ), (
3) 伝統的な談話関係の分類で、現代的な文と文脈上の単語の埋め込みを超えて実行し、(4) 新しいニュアンスのある関係 (因果関係の説明と反事実の交差点での関係など) を捉えます。

要約(オリジナル)

Discourse relations are typically modeled as a discrete class that characterizes the relation between segments of text (e.g. causal explanations, expansions). However, such predefined discrete classes limits the universe of potential relationships and their nuanced differences. Analogous to contextual word embeddings, we propose representing discourse relations as points in high dimensional continuous space. However, unlike words, discourse relations often have no surface form (relations are between two segments, often with no word or phrase in that gap) which presents a challenge for existing embedding techniques. We present a novel method for automatically creating discourse relation embeddings (DiscRE), addressing the embedding challenge through a weakly supervised, multitask approach to learn diverse and nuanced relations between discourse segments in social media. Results show DiscRE can: (1) obtain the best performance on Twitter discourse relation classification task (macro F1=0.76) (2) improve the state of the art in social media causality prediction (from F1=.79 to .81), (3) perform beyond modern sentence and contextual word embeddings at traditional discourse relation classification, and (4) capture novel nuanced relations (e.g. relations semantically at the intersection of causal explanations and counterfactuals).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google