Fundamental Limitations of Alignment in Large Language Models

要約

人間と対話する言語モデルを開発する際の重要な側面は、人間のユーザーにとって有益かつ無害となるように言語モデルの動作を調整することです。
これは通常、望ましい動作を強化し、望ましくない動作を抑制する方法でモデルを調整することによって実現されます。このプロセスはアライメントと呼ばれます。
この論文では、大規模な言語モデルにおけるアラインメントのいくつかの固有の特性と制限を正式に調査できるようにする Behavior Expectation Bounds (BEB) と呼ばれる理論的アプローチを提案します。
重要なのは、モデルによって示される有限の確率を持つあらゆる動作について、モデルがこの動作を出力するようにトリガーできるプロンプトが存在し、その確率はプロンプトの長さに応じて増加することを証明したことです。
これは、望ましくない動作を軽減するものの、完全には除去しない調整プロセスは、敵対的プロンプト攻撃に対して安全ではないことを意味します。
さらに、私たちのフレームワークは、人間のフィードバックからの強化学習などの主要な調整アプローチが、LLM が望ましくない行動に誘導される傾向を高めるメカニズムを示唆しています。
さらに、BEB フレームワークにペルソナの概念を含めると、モデルが特定のペルソナとして動作するように促すことで、一般にモデルが示す可能性が非常に低い動作を前面に出すことができることがわかりました。
この理論的結果は、いわゆる現代の「chatGPT ジェイルブレイク」によって大規模に実験的に実証されています。このジェイルブレイクでは、敵対的なユーザーが LLM を騙して、悪意のあるペルソナとして動作させることで、LLM の調整ガードレールを破らせます。
私たちの結果は、LLM の調整における根本的な限界を明らかにし、AI の安全性を確保するための信頼できるメカニズムを考案する必要性を最前線にもたらします。

要約(オリジナル)

An important aspect in developing language models that interact with humans is aligning their behavior to be useful and unharmful for their human users. This is usually achieved by tuning the model in a way that enhances desired behaviors and inhibits undesired ones, a process referred to as alignment. In this paper, we propose a theoretical approach called Behavior Expectation Bounds (BEB) which allows us to formally investigate several inherent characteristics and limitations of alignment in large language models. Importantly, we prove that for any behavior that has a finite probability of being exhibited by the model, there exist prompts that can trigger the model into outputting this behavior, with probability that increases with the length of the prompt. This implies that any alignment process that attenuates undesired behavior but does not remove it altogether, is not safe against adversarial prompting attacks. Furthermore, our framework hints at the mechanism by which leading alignment approaches such as reinforcement learning from human feedback increase the LLM’s proneness to being prompted into the undesired behaviors. Moreover, we include the notion of personas in our BEB framework, and find that behaviors which are generally very unlikely to be exhibited by the model can be brought to the front by prompting the model to behave as specific persona. This theoretical result is being experimentally demonstrated in large scale by the so called contemporary ‘chatGPT jailbreaks’, where adversarial users trick the LLM into breaking its alignment guardrails by triggering it into acting as a malicious persona. Our results expose fundamental limitations in alignment of LLMs and bring to the forefront the need to devise reliable mechanisms for ensuring AI safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google