More is More: Addition Bias in Large Language Models

要約

この論文では、大規模言語モデル (LLM) における加法的バイアスの存在を調査し、個人が減法的変化よりも加法的変化を好む傾向がある人間で観察される認知バイアスとの類似点を描きます。
一連の制御された実験を使用して、GPT-3.5 Turbo、Claude 3.5 Sonnet、Mistral、Math$\Sigma$tral、Llama 3.1 などのさまざまな LLM を、加法的修正と減法的修正の傾向を測定するように設計されたタスクでテストしました。
私たちの調査結果は、テストされたすべてのモデルにわたって追加的な変更が非常に好まれることを示しています。
たとえば、回文作成タスクでは、Llama 3.1 は 97.85% の確率で文字を削除するよりも文字を追加することを優先しました。
同様に、レゴ タワーのバランス調整タスクでは、GPT-3.5 Turbo は 76.38% の確率でレンガを削除するのではなく、レンガを追加することを選択しました。
テキスト要約タスクでは、ミストラル 7B は、自分または他人の文章を改善するよう求められた場合、59.40% ～ 75.10% のケースで長い要約を作成しました。
これらの結果は、人間と同様に、LLM が顕著な相加的バイアスを示し、LLM が大規模に使用される場合に影響を与える可能性があることを示しています。
相加的なバイアスにより、資源の使用量と環境への影響が増加し、過剰消費や無駄による経済的コストの増加につながる可能性があります。
バランスの取れた効率的な問題解決アプローチを確保するには、LLM の開発と適用においてこのバイアスを考慮する必要があります。

要約(オリジナル)

In this paper, we investigate the presence of additive bias in Large Language Models (LLMs), drawing a parallel to the cognitive bias observed in humans where individuals tend to favor additive over subtractive changes. Using a series of controlled experiments, we tested various LLMs, including GPT-3.5 Turbo, Claude 3.5 Sonnet, Mistral, Math$\Sigma$tral, and Llama 3.1, on tasks designed to measure their propensity for additive versus subtractive modifications. Our findings demonstrate a significant preference for additive changes across all tested models. For example, in a palindrome creation task, Llama 3.1 favored adding letters 97.85% of the time over removing them. Similarly, in a Lego tower balancing task, GPT-3.5 Turbo chose to add a brick 76.38% of the time rather than remove one. In a text summarization task, Mistral 7B produced longer summaries in 59.40% to 75.10% of cases when asked to improve its own or others’ writing. These results indicate that, similar to humans, LLMs exhibit a marked additive bias, which might have implications when LLMs are used on a large scale. Addittive bias might increase resource use and environmental impact, leading to higher economic costs due to overconsumption and waste. This bias should be considered in the development and application of LLMs to ensure balanced and efficient problem-solving approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google