Is Temperature the Creativity Parameter of Large Language Models?

要約

大規模言語モデル (LLM) は、あらゆる種類の創造的なタスクに適用され、その出力は、美しいものから独特のもの、パスティーシュなもの、単なる盗作まで多岐にわたります。
LLM の温度パラメータはランダム性の量を調整し、より多様な出力をもたらします。
したがって、それが創造性のパラメータであると主張されることがよくあります。
ここでは、あらかじめ決められた固定コンテキスト、モデル、プロンプトを使用した物語生成タスクを使用して、この主張を調査します。
具体的には、物語生成における創造性に必要な 4 つの条件 (新規性、典型性、凝集性、一貫性) を使用して、さまざまな温度値に対する LLM 出力の実証分析を示します。
温度は新規性と弱い相関があり、当然のことながら、一貫性のなさとは中程度の相関があるが、凝集性や典型性とは無関係であることがわかりました。
しかし、創造性に対する温度の影響は、「創造性パラメーター」の主張で示唆されているよりもはるかに微妙で弱いものです。
全体的な結果は、温度が上昇するにつれて、LLM がわずかにより新しい出力を生成することを示唆しています。
最後に、温度パラメーターを変更することで偶然に依存するのではなく、LLM の創造性をより制御できるようにするアイデアについて説明します。

要約(オリジナル)

Large language models (LLMs) are applied to all sorts of creative tasks, and their outputs vary from beautiful, to peculiar, to pastiche, into plain plagiarism. The temperature parameter of an LLM regulates the amount of randomness, leading to more diverse outputs; therefore, it is often claimed to be the creativity parameter. Here, we investigate this claim using a narrative generation task with a predetermined fixed context, model and prompt. Specifically, we present an empirical analysis of the LLM output for different temperature values using four necessary conditions for creativity in narrative generation: novelty, typicality, cohesion, and coherence. We find that temperature is weakly correlated with novelty, and unsurprisingly, moderately correlated with incoherence, but there is no relationship with either cohesion or typicality. However, the influence of temperature on creativity is far more nuanced and weak than suggested by the ‘creativity parameter’ claim; overall results suggest that the LLM generates slightly more novel outputs as temperatures get higher. Finally, we discuss ideas to allow more controlled LLM creativity, rather than relying on chance via changing the temperature parameter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google