Programming Refusal with Conditional Activation Steering

要約

LLMは顕著な能力を示していますが、反応行動を正確に制御することは依然として困難です。
既存のアクティベーションステアリング方法は、LLMの動作を無差別に変化させ、コンテンツモデレーションやドメイン固有のアシスタントなど、選択的な応答が不可欠な設定での実際的な適用性を制限します。
このホワイトペーパーでは、条件付きアクティベーションステアリング（CAST）を提案します。これは、推論中にLLMアクティベーションパターンを分析し、入力コンテキストに基づいてアクティベーションステアリングを選択的に適用または源泉徴収します。
私たちの方法は、さまざまなカテゴリのプロンプトがモデルの非表示状態で異なるパターンをアクティブにするという観察に基づいています。
キャストを使用すると、「入力がヘイトスピーチやアダルトコンテンツに関するものである場合、拒否」または「入力が法的アドバイスに関するものではない場合は拒否」などのルールでLLMの動作を体系的に制御できます。
これにより、他のコンテンツに対する通常の応答を維持しながら、特定のコンテンツに対する応答を選択的に変更できます。
でフレームワークのオープンソース実装をリリースします。

要約(オリジナル)

LLMs have shown remarkable capabilities, but precisely controlling their response behavior remains challenging. Existing activation steering methods alter LLM behavior indiscriminately, limiting their practical applicability in settings where selective responses are essential, such as content moderation or domain-specific assistants. In this paper, we propose Conditional Activation Steering (CAST), which analyzes LLM activation patterns during inference to selectively apply or withhold activation steering based on the input context. Our method is based on the observation that different categories of prompts activate distinct patterns in the model’s hidden states. Using CAST, one can systematically control LLM behavior with rules like ‘if input is about hate speech or adult content, then refuse’ or ‘if input is not about legal advice, then refuse.’ This allows for selective modification of responses to specific content while maintaining normal responses to other content, all without requiring weight optimization. We release an open-source implementation of our framework at .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google