ChatGPT as a commenter to the news: can LLMs generate human-like opinions?

要約

ChatGPT、GPT-3.5、およびその他の大規模言語モデル (LLM) は、リリース以来大きな注目を集めており、これらのモデルの機能がさまざまなタスクについて調査されてきました。
この研究では、GPT-3.5 がオランダのニュース記事に対してどの程度人間のようなコメントを生成できるかを調査します。
私たちは人間らしさを「人間のコメントと区別できない」と定義し、これは人間のコメントと GPT コメントの間の自動分類の難しさによって近似されます。
私たちは複数のプロンプト手法にわたって人間らしさを分析します。
特に、生成された 2 つのペルソナに対して、ゼロショット、少数ショット、およびコンテキスト プロンプトを利用します。
私たちの微調整された BERT モデルは、人間が書いたコメントと GPT-3.5 で生成されたコメントを簡単に区別できることがわかりました。使用されているプロンプト手法のいずれも顕著に優れたパフォーマンスを発揮するものはありません。
さらに、人間のコメントは GPT で生成されたコメントよりも一貫して語彙の多様性が高いことを分析しました。
これは、生成 LLM は流暢なテキストを生成できますが、人間のような意見を持ったコメントを作成する機能にはまだ限界があることを示しています。

要約(オリジナル)

ChatGPT, GPT-3.5, and other large language models (LLMs) have drawn significant attention since their release, and the abilities of these models have been investigated for a wide variety of tasks. In this research we investigate to what extent GPT-3.5 can generate human-like comments on Dutch news articles. We define human likeness as `not distinguishable from human comments’, approximated by the difficulty of automatic classification between human and GPT comments. We analyze human likeness across multiple prompting techniques. In particular, we utilize zero-shot, few-shot and context prompts, for two generated personas. We found that our fine-tuned BERT models can easily distinguish human-written comments from GPT-3.5 generated comments, with none of the used prompting methods performing noticeably better. We further analyzed that human comments consistently showed higher lexical diversity than GPT-generated comments. This indicates that although generative LLMs can generate fluent text, their capability to create human-like opinionated comments is still limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google