Efficient Information Extraction in Few-Shot Relation Classification through Contrastive Representation Learning

要約

限られたラベル付きインスタンスを持つエンティティ ペア間の関係を区別することは、少数ショットの関係分類において大きな課題となります。
テキスト データの表現により、ドメイン、エンティティ、関係にわたる豊富な情報が抽出されます。
この論文では、複数の文表現と対比学習を組み合わせて情報抽出を強化する新しいアプローチを紹介します。
関係分類における表現は通常、エンティティ マーカー トークンを使用して抽出されますが、内部モデル表現内の実質的な情報は未開発のままであると私たちは主張します。
これに対処するために、[CLS] トークン、プロンプトで使用される [MASK] トークン、エンティティ マーカー トークンなど、複数の文表現を調整することを提案します。
私たちの方法は、これらの個々の表現から相補的な識別情報を抽出するために対照学習を採用しています。
これは、情報が不足している低リソース環境に特に関係します。
複数の文表現を活用することは、関係の説明などの追加情報が利用できない場合に、関係を分類するための識別情報を抽出するのに特に効果的です。
私たちはアプローチの適応性を検証し、関係記述を含むシナリオで堅牢なパフォーマンスを維持し、さまざまなリソース制約に適応する柔軟性を示します。

要約(オリジナル)

Differentiating relationships between entity pairs with limited labeled instances poses a significant challenge in few-shot relation classification. Representations of textual data extract rich information spanning the domain, entities, and relations. In this paper, we introduce a novel approach to enhance information extraction combining multiple sentence representations and contrastive learning. While representations in relation classification are commonly extracted using entity marker tokens, we argue that substantial information within the internal model representations remains untapped. To address this, we propose aligning multiple sentence representations, such as the [CLS] token, the [MASK] token used in prompting, and entity marker tokens. Our method employs contrastive learning to extract complementary discriminative information from these individual representations. This is particularly relevant in low-resource settings where information is scarce. Leveraging multiple sentence representations is especially effective in distilling discriminative information for relation classification when additional information, like relation descriptions, are not available. We validate the adaptability of our approach, maintaining robust performance in scenarios that include relation descriptions, and showcasing its flexibility to adapt to different resource constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google