LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced Personality Detection Model

要約

性格検出は、ソーシャル メディア投稿の根底にある個人の性格特性を検出することを目的としています。
この課題の 1 つの課題は、自己申告アンケートから収集される、真実の性格特性が不足していることです。
既存の手法のほとんどは、限られたパーソナリティラベルの監督下で、事前トレーニングされた言語モデルを微調整することによって、投稿の特徴を直接学習します。
これによりポスト機能の品質が低下し、結果的にパフォーマンスに影響を与えます。
さらに、彼らは性格特性をワンホットな分類ラベルとして扱い、その中の意味情報を無視します。
この論文では、大規模言語モデル (LLM) ベースのテキスト拡張強化性格検出モデルを提案します。このモデルは、LLM がこのタスクで失敗した場合でも、LLM の知識を抽出して性格検出のための小規模モデルを強化します。
具体的には、LLM が性格検出に重要な意味、感情、言語の側面から事後分析 (拡張) を生成できるようにします。
対照学習を使用してそれらを埋め込み空間にまとめることで、ポストエンコーダーはポスト表現内の心理​​言語情報をより適切に捕捉できるため、性格検出が向上します。
さらに、LLM を利用して性格ラベルの情報を充実させ、検出性能を向上させます。
ベンチマーク データセットの実験結果は、私たちのモデルが性格検出に関して最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Personality detection aims to detect one’s personality traits underlying in social media posts. One challenge of this task is the scarcity of ground-truth personality traits which are collected from self-report questionnaires. Most existing methods learn post features directly by fine-tuning the pre-trained language models under the supervision of limited personality labels. This leads to inferior quality of post features and consequently affects the performance. In addition, they treat personality traits as one-hot classification labels, overlooking the semantic information within them. In this paper, we propose a large language model (LLM) based text augmentation enhanced personality detection model, which distills the LLM’s knowledge to enhance the small model for personality detection, even when the LLM fails in this task. Specifically, we enable LLM to generate post analyses (augmentations) from the aspects of semantic, sentiment, and linguistic, which are critical for personality detection. By using contrastive learning to pull them together in the embedding space, the post encoder can better capture the psycho-linguistic information within the post representations, thus improving personality detection. Furthermore, we utilize the LLM to enrich the information of personality labels for enhancing the detection performance. Experimental results on the benchmark datasets demonstrate that our model outperforms the state-of-the-art methods on personality detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google