We’re Different, We’re the Same: Creative Homogeneity Across LLMs

要約

多くの強力な大手言語モデル（LLMS）が、サポートツール、アイデアジェネレーターなどを作成するために使用できるようになりました。
これらのLLMは有用なクリエイティブアシスタントとして販売されていますが、いくつかの作品は、LLMをクリエイティブパートナーとして使用すると、より狭いクリエイティブな出力セットになることが示されています。
ただし、これらの研究は、単一のLLMとの相互作用の効果のみを考慮して、そのような狭められた創造性が特定のLLMを使用することに起因するかどうかという問題を懇願することのみを検討します。
。
この質問を研究するために、標準化された創造性テストを使用して、人間と幅広いLLMからの創造的な反応を引き出し、人口レベルの反応の多様性を比較します。
LLM応答は、応答構造やその他の重要な変数を制御した後でも、人間の応答が互いに向かっているよりも、他のLLM応答とはるかに類似していることがわかります。
LLMS全体の創造的な出力における重要な均一性のこの発見は、創造性とLLMに関する進行中の会話に新しい次元を追加します。
今日のLLMが同様に動作する場合、使用するモデルに関係なく、それらをクリエイティブパートナーとして使用すると、すべてのユーザーが限られた「クリエイティブ」出力のセットに向かって駆り立てる可能性があります。

要約(オリジナル)

Numerous powerful large language models (LLMs) are now available for use as writing support tools, idea generators, and beyond. Although these LLMs are marketed as helpful creative assistants, several works have shown that using an LLM as a creative partner results in a narrower set of creative outputs. However, these studies only consider the effects of interacting with a single LLM, begging the question of whether such narrowed creativity stems from using a particular LLM — which arguably has a limited range of outputs — or from using LLMs in general as creative assistants. To study this question, we elicit creative responses from humans and a broad set of LLMs using standardized creativity tests and compare the population-level diversity of responses. We find that LLM responses are much more similar to other LLM responses than human responses are to each other, even after controlling for response structure and other key variables. This finding of significant homogeneity in creative outputs across the LLMs we evaluate adds a new dimension to the ongoing conversation about creativity and LLMs. If today’s LLMs behave similarly, using them as a creative partners — regardless of the model used — may drive all users towards a limited set of ‘creative’ outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google