Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts

要約

大規模言語モデル (LLM) は、自然言語処理 (NLP) タスクにおいて重要な役割を果たし、テキストの翻訳、要約、分類などの領域全体で人間の言語の理解、生成、操作を向上させます。
これまでの研究では、命令ベースの LLM をデータ拡張に効果的に利用して、多様で現実的なテキスト サンプルを生成できることが実証されています。
この研究では、プロンプトベースのデータ拡張を適用して、ロシアのソーシャルメディアでの環境に優しい実践に関する言及を検出しました。
ソーシャルメディアで環境に優しい実践を検出することは、その蔓延を理解するのに役立ち、環境問題を軽減するために環境に優しい行動を拡大するための推奨事項を策定するのに役立ちます。
LLM を使用して既存のデータセットを書き換えるか、新しいデータを生成するか、または両方のアプローチを組み合わせることによって、マルチラベル分類タスクでテキストを強化するためのいくつかのプロンプトを評価しました。
私たちの結果は、元のデータセットのみで微調整されたモデルと比較して、すべての戦略で分類パフォーマンスが向上し、ほとんどの場合ベースラインを上回るパフォーマンスを示したことが明らかになりました。
関連するカテゴリを明確に示しながら、元のテキストを言い換えたプロンプトで最良の結果が得られました。

要約(オリジナル)

Large language models (LLMs) play a crucial role in natural language processing (NLP) tasks, improving the understanding, generation, and manipulation of human language across domains such as translating, summarizing, and classifying text. Previous studies have demonstrated that instruction-based LLMs can be effectively utilized for data augmentation to generate diverse and realistic text samples. This study applied prompt-based data augmentation to detect mentions of green practices in Russian social media. Detecting green practices in social media aids in understanding their prevalence and helps formulate recommendations for scaling eco-friendly actions to mitigate environmental issues. We evaluated several prompts for augmenting texts in a multi-label classification task, either by rewriting existing datasets using LLMs, generating new data, or combining both approaches. Our results revealed that all strategies improved classification performance compared to the models fine-tuned only on the original dataset, outperforming baselines in most cases. The best results were obtained with the prompt that paraphrased the original text while clearly indicating the relevant categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google