Can Large Language Models be Effective Online Opinion Miners?

要約

ユーザーが生成したオンラインコンテンツの急増は、顧客の好みと市場動向に関する豊富な洞察を提示します。
ただし、このような内容の非常に多様で複雑でコンテキストが豊富な性質は、従来の意見採掘アプローチに大きな課題をもたらします。
これに対処するために、多様で複雑なオンライン環境から効果的に意見をマイニングする大きな言語モデル（LLM）の能力を評価するために設計された新しいデータセットと評価プロトコルであるオンラインオピニオンマイニングベンチマーク（OOMB）を紹介します。
OOMBは、各コンテンツ内の重要な意見のトピックを強調する広範な（エンティティ、機能、意見）タプルアノテーションと、モデルの抽出および抽象的機能の両方の評価を可能にする包括的な意見中心の要約を提供します。
提案されたベンチマークを通じて、どの側面が挑戦的であり、LLMが適応性を示す包括的な分析を実施して、現実的なオンラインシナリオで意見鉱夫として効果的に役立つかどうかを調査します。
この研究では、LLMベースの意見マイニングの基礎となり、この分野での将来の研究の方向性について説明します。

要約(オリジナル)

The surge of user-generated online content presents a wealth of insights into customer preferences and market trends. However, the highly diverse, complex, and context-rich nature of such contents poses significant challenges to traditional opinion mining approaches. To address this, we introduce Online Opinion Mining Benchmark (OOMB), a novel dataset and evaluation protocol designed to assess the ability of large language models (LLMs) to mine opinions effectively from diverse and intricate online environments. OOMB provides extensive (entity, feature, opinion) tuple annotations and a comprehensive opinion-centric summary that highlights key opinion topics within each content, thereby enabling the evaluation of both the extractive and abstractive capabilities of models. Through our proposed benchmark, we conduct a comprehensive analysis of which aspects remain challenging and where LLMs exhibit adaptability, to explore whether they can effectively serve as opinion miners in realistic online scenarios. This study lays the foundation for LLM-based opinion mining and discusses directions for future research in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google