Bias in the Mirror: Are LLMs opinions robust to their own adversarial attacks ?

要約

大規模言語モデル (LLM) は、トレーニング データと調整プロセスからバイアスを継承し、微妙な方法で応答に影響を与えます。
これらのバイアスについては多くの研究が調査されていますが、相互作用中のバイアスの堅牢性を調査した研究はほとんどありません。
この論文では、LLM の 2 つのインスタンスが自己議論に参加し、反対の視点を主張してモデルの中立バージョンを説得する新しいアプローチを紹介します。
これを通じて、バイアスがどの程度しっかりと保持されているか、モデルが誤った情報を強化したり、有害な視点に移行したりする可能性があるかどうかを評価します。
私たちの実験は、さまざまなサイズ、起源、言語の複数の LLM にまたがり、言語的および文化的コンテキストにわたるバイアスの持続性と柔軟性についてのより深い洞察を提供します。

要約(オリジナル)

Large language models (LLMs) inherit biases from their training data and alignment processes, influencing their responses in subtle ways. While many studies have examined these biases, little work has explored their robustness during interactions. In this paper, we introduce a novel approach where two instances of an LLM engage in self-debate, arguing opposing viewpoints to persuade a neutral version of the model. Through this, we evaluate how firmly biases hold and whether models are susceptible to reinforcing misinformation or shifting to harmful viewpoints. Our experiments span multiple LLMs of varying sizes, origins, and languages, providing deeper insights into bias persistence and flexibility across linguistic and cultural contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google