Investigating Persuasion Techniques in Arabic: An Empirical Study Leveraging Large Language Models

要約

デジタルコミュニケーションとソーシャルメディアの普及が進む現在の時代では、文章に用いられる説得力のあるテクニックについて理解を深めていくことが重要です。
この知識は、正確な情報を効果的に識別し、情報に基づいた意思決定を行うために不可欠です。
このニーズに対処するために、この論文では、アラビア語のソーシャルメディアコンテンツにおける説得手法の特定に焦点を当てた包括的な実証研究を紹介します。
この目的を達成するために、事前トレーニング済み言語モデル (PLM) を利用し、ArAlEval データセットを活用します。これには、説得手法の有無を判断するバイナリ分類と、特定の種類の手法を識別するマルチラベル分類という 2 つのタスクが含まれます。
本文中で採用されています。
私たちの研究では、PLM の力を利用して、特徴抽出、微調整、プロンプト エンジニアリング手法という 3 つの異なる学習アプローチを検討しています。
広範な実験を通じて、微調整アプローチが前述のデータセットで最高の結果をもたらし、f1 マイクロ スコア 0.865 および f1 加重スコア 0.861 を達成することがわかりました。
さらに、私たちの分析により、興味深い発見が明らかになりました。
GPT モデルのパフォーマンスは他のアプローチに比べて比較的低いですが、少数ショット学習手法を採用することで、その結果を最大 20\% 向上させることができることが観察されています。
これは、このトピックの将来の研究と探索に有望な方向性を提供します\脚注{承認され次第、ソース コードは GitHub でリリースされます。}

要約(オリジナル)

In the current era of digital communication and widespread use of social media, it is crucial to develop an understanding of persuasive techniques employed in written text. This knowledge is essential for effectively discerning accurate information and making informed decisions. To address this need, this paper presents a comprehensive empirical study focused on identifying persuasive techniques in Arabic social media content. To achieve this objective, we utilize Pre-trained Language Models (PLMs) and leverage the ArAlEval dataset, which encompasses two tasks: binary classification to determine the presence or absence of persuasion techniques, and multi-label classification to identify the specific types of techniques employed in the text. Our study explores three different learning approaches by harnessing the power of PLMs: feature extraction, fine-tuning, and prompt engineering techniques. Through extensive experimentation, we find that the fine-tuning approach yields the highest results on the aforementioned dataset, achieving an f1-micro score of 0.865 and an f1-weighted score of 0.861. Furthermore, our analysis sheds light on an interesting finding. While the performance of the GPT model is relatively lower compared to the other approaches, we have observed that by employing few-shot learning techniques, we can enhance its results by up to 20\%. This offers promising directions for future research and exploration in this topic\footnote{Upon Acceptance, the source code will be released on GitHub.}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google