Fundamental Limitations of Alignment in Large Language Models

要約

人間と相互作用する言語モデルを開発する上で重要なことは、人間のユーザーにとって有益で害のないように、その振る舞いを調整することである。これは通常、望ましい振る舞いを強化し、望ましくない振る舞いを抑制するようにモデルをチューニングすることで達成される。本論文では、大規模言語モデルにおけるアライメントのいくつかの本質的な特徴と限界を正式に調査することを可能にする、行動期待境界（Behavior Expectation Bounds：BEB）と呼ばれる理論的アプローチを提案する。重要なことは、このフレームワークの制限内で、モデルによって示される確率が有限であるどのような振る舞いに対しても、プロンプトの長さに応じて増加する確率で、モデルがこの振る舞いを出力するきっかけとなるプロンプトが存在することを証明することである。このことは、望ましくない振る舞いを減衰させるが、完全に除去することはできないアライメントプロセスは、敵対的なプロンプト攻撃に対して安全ではないことを意味する。さらに、我々のフレームワークは、人間のフィードバックからの強化学習のような主要なアライメントアプローチが、LLMを望ましくない行動に促しやすくするメカニズムを示唆している。この理論的な結果は、いわゆる現代の「chatGPTジェイルブレイク」によって大規模に実験的に実証されている。我々の結果は、LLMのアライメントにおける基本的な限界を明らかにし、AIの安全性を確保するための信頼できるメカニズムを考案する必要性を前面に押し出している。

要約(オリジナル)

An important aspect in developing language models that interact with humans is aligning their behavior to be useful and unharmful for their human users. This is usually achieved by tuning the model in a way that enhances desired behaviors and inhibits undesired ones, a process referred to as alignment. In this paper, we propose a theoretical approach called Behavior Expectation Bounds (BEB) which allows us to formally investigate several inherent characteristics and limitations of alignment in large language models. Importantly, we prove that within the limits of this framework, for any behavior that has a finite probability of being exhibited by the model, there exist prompts that can trigger the model into outputting this behavior, with probability that increases with the length of the prompt. This implies that any alignment process that attenuates an undesired behavior but does not remove it altogether, is not safe against adversarial prompting attacks. Furthermore, our framework hints at the mechanism by which leading alignment approaches such as reinforcement learning from human feedback make the LLM prone to being prompted into the undesired behaviors. This theoretical result is being experimentally demonstrated in large scale by the so called contemporary ‘chatGPT jailbreaks’, where adversarial users trick the LLM into breaking its alignment guardrails by triggering it into acting as a malicious persona. Our results expose fundamental limitations in alignment of LLMs and bring to the forefront the need to devise reliable mechanisms for ensuring AI safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL