Does Writing with Language Models Reduce Content Diversity?

要約

大規模言語モデル (LLM) により、モデル支援を利用した共同執筆が急増しています。
さまざまなユーザーが同じモデルからの提案を組み込むため、作成されたコンテンツの多様性が減少し、公共の場での議論における多様な視点が制限される可能性があります。
この研究では、ユーザーがベース LLM (GPT3)、フィードバック調整された LLM (InstructGPT)、およびモデルを使用しない執筆の 3 つの設定で議論的なエッセイを書くという、対照的な実験を通じて、共同執筆が多様性に及ぼす影響を測定します。
ヘルプ。
私たちは一連の多様性メトリクスを開発し、InstructGPT (GPT3 ではない) を使用して記述すると統計的に有意な多様性の低下が生じることを発見しました。
具体的には、異なる著者の著作間の類似性が高まり、全体的な語彙と内容の多様性が減少します。
さらに、この効果は主に、InstructGPT が共著エッセイにあまり多様性のないテキストを提供していることに起因していることがわかりました。
対照的に、ユーザーが投稿したテキストはモデルのコラボレーションの影響を受けません。
これは、モデルを人間のフィードバックに適応させることによる生成品質の最近の向上は、コンテンツの同質化と多様性の低下を犠牲にして実現されている可能性があることを示唆しています。

要約(オリジナル)

Large language models (LLMs) have led to a surge in collaborative writing with model assistance. As different users incorporate suggestions from the same model, there is a risk of decreased diversity in the produced content, potentially limiting diverse perspectives in public discourse. In this work, we measure the impact of co-writing on diversity via a controlled experiment, where users write argumentative essays in three setups — using a base LLM (GPT3), a feedback-tuned LLM (InstructGPT), and writing without model help. We develop a set of diversity metrics and find that writing with InstructGPT (but not the GPT3) results in a statistically significant reduction in diversity. Specifically, it increases the similarity between the writings of different authors and reduces the overall lexical and content diversity. We additionally find that this effect is mainly attributable to InstructGPT contributing less diverse text to co-written essays. In contrast, the user-contributed text remains unaffected by model collaboration. This suggests that the recent improvement in generation quality from adapting models to human feedback might come at the cost of more homogeneous and less diverse content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google