The Limits of ChatGPT in Extracting Aspect-Category-Opinion-Sentiment Quadruples: A Comparative Analysis

要約

ChatGPT は、自然言語の理解と生成における驚くべき能力により、最近、産業界と学術界の両方から大きな注目を集めています。
私たちが特に興味を持っているのは、アスペクトベースのセンチメント分析の中で最も複雑なタスクの 1 つ、つまりテキストからアスペクト – カテゴリ – 意見 – センチメントの 4 倍を抽出するタスクで、それが期待できるパフォーマンスを達成できるかどうかです。
この目的を達成するために、この論文では、ChatGPT がこの複雑な 4 つの抽出タスクに効果的に取り組むことを可能にする特殊なプロンプト テンプレートを開発します。
さらに、ChatGPT のコンテキスト内学習能力を最大限に活用し、この複雑なタスクでの有効性を高めるために、ショット数の少ないサンプルの選択方法を提案します。
最後に、4 つの公開データセットに基づく既存の最先端の 4 重抽出モデルに対する ChatGPT の比較評価を提供し、4 重抽出における ChatGPT の機能境界に関するいくつかの重要な発見を強調します。

要約(オリジナル)

Recently, ChatGPT has attracted great attention from both industry and academia due to its surprising abilities in natural language understanding and generation. We are particularly curious about whether it can achieve promising performance on one of the most complex tasks in aspect-based sentiment analysis, i.e., extracting aspect-category-opinion-sentiment quadruples from texts. To this end, in this paper we develop a specialized prompt template that enables ChatGPT to effectively tackle this complex quadruple extraction task. Further, we propose a selection method on few-shot examples to fully exploit the in-context learning ability of ChatGPT and uplift its effectiveness on this complex task. Finally, we provide a comparative evaluation on ChatGPT against existing state-of-the-art quadruple extraction models based on four public datasets and highlight some important findings regarding the capability boundaries of ChatGPT in the quadruple extraction.

arxiv情報

著者 Xiancai Xu,Jia-Dong Zhang,Rongchang Xiao,Lei Xiong
発行日 2023-10-10 10:19:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク