Contrastive Learning of Sociopragmatic Meaning in Social Media

要約

タイトル：社会語用論的意味の対比的学習
要約：
– NLPの表現と対比的学習の最近の進展は、まだ異なる言語コミュニティ内での相互作用の意味（社会語用論的意味）を考慮していない。
– 社会語用論的タスク（感情、憎悪発言、ユーモア、皮肉など）に転移可能なタスクに不用意な表現の学習のための新しいフレームワークを提案している。
– 提案フレームワークは、ドメイン内外のデータの両方、一般的およびフォーショットの状況で、他の対比的学習フレームワークよりも優れている。
– 例えば、2つの一般的な事前学習言語モデルと比較して、提案手法は、各データセットに対して20のトレーニングサンプルのみでファインチューニングされた場合に、16のデータセットで$11.66$平均$F_1$の改善を達成する。

要約(オリジナル)

Recent progress in representation and contrastive learning in NLP has not widely considered the class of \textit{sociopragmatic meaning} (i.e., meaning in interaction within different language communities). To bridge this gap, we propose a novel framework for learning task-agnostic representations transferable to a wide range of sociopragmatic tasks (e.g., emotion, hate speech, humor, sarcasm). Our framework outperforms other contrastive learning frameworks for both in-domain and out-of-domain data, across both the general and few-shot settings. For example, compared to two popular pre-trained language models, our method obtains an improvement of $11.66$ average $F_1$ on $16$ datasets when fine-tuned on only $20$ training samples per dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI