Multi-Domain ABSA Conversation Dataset Generation via LLMs for Real-World Evaluation and Model Comparison

要約

アスペクトベースのセンチメント分析（ABSA）は、意見に対する詳細な洞察を提供しますが、多くの場合、実際の会話のニュアンスを反映する多様でラベル付けされたデータセットの希少性に苦しんでいます。
このペーパーでは、このギャップに対処するために大規模な言語モデル（LLMS）を使用して合成ABSAデータを生成するためのアプローチを紹介します。
GPT-4Oを使用して、複数のドメインにわたって一貫したトピックと感情分布を使用してデータを生成することを目的とした生成プロセスを詳述します。
生成されたデータの品質とユーティリティは、トピックおよびセンチメント分類タスクに関する3つの最先端のLLM（Gemini 1.5 Pro、Claude 3.5 Sonnet、およびDeepseek-R1）のパフォーマンスを評価することにより評価されました。
我々の結果は、合成データの有効性を示し、モデル間の明確なパフォーマンスのトレードオフを明らかにします：DeepSeekr1はより高い精度を示し、Gemini 1.5 ProとClaude 3.5 Sonnetが強力なリコールを示し、Gemini 1.5 Proは非常に速い推論を提供しました。
LLMベースの合成データ生成は、貴重なABSAリソースを作成するための実行可能で柔軟な方法であり、限られたまたはアクセスできない実際の世界ラベル付きデータに依存せずに研究とモデルの評価を促進するための方法であると結論付けています。

要約(オリジナル)

Aspect-Based Sentiment Analysis (ABSA) offers granular insights into opinions but often suffers from the scarcity of diverse, labeled datasets that reflect real-world conversational nuances. This paper presents an approach for generating synthetic ABSA data using Large Language Models (LLMs) to address this gap. We detail the generation process aimed at producing data with consistent topic and sentiment distributions across multiple domains using GPT-4o. The quality and utility of the generated data were evaluated by assessing the performance of three state-of-the-art LLMs (Gemini 1.5 Pro, Claude 3.5 Sonnet, and DeepSeek-R1) on topic and sentiment classification tasks. Our results demonstrate the effectiveness of the synthetic data, revealing distinct performance trade-offs among the models: DeepSeekR1 showed higher precision, Gemini 1.5 Pro and Claude 3.5 Sonnet exhibited strong recall, and Gemini 1.5 Pro offered significantly faster inference. We conclude that LLM-based synthetic data generation is a viable and flexible method for creating valuable ABSA resources, facilitating research and model evaluation without reliance on limited or inaccessible real-world labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google