ICLGuard: Controlling In-Context Learning Behavior for Applicability Authorization

要約

インコンテキスト学習 (ICL) は、大規模言語モデル (LLM) の機能における最近の進歩です。
この機能により、ユーザーはモデルを更新せずに新しいタスクを実行できます。
具体的には、ユーザーは、テスト入力とともにいくつかの入力とラベルのペアのデモンストレーションを条件付けすることで、推論時間中にタスクに取り組むことができます。
これは従来の微調整パラダイムとは異なり、より高い柔軟性を提供します。
ただし、この機能には潜在的な問題も発生します。
たとえば、ユーザーは、モデルのポリシーに違反したり、モデル所有者の利益に反する可能性のある、不適切なコンテンツや機密コンテンツを含むタスクの実行など、あらゆるデータに対してモデルを制限なく使用できます。
モデル所有者としては、さまざまなコンテンツに対するモデル所有者の要件に応じて、ICL の下でモデルの動作を制御するメカニズムを確立することが重要です。
この目的を達成するために、LLM、特に ICL の動作に合わせた「適用許可」の概念を導入し、シンプルなアプローチである ICLGuard を提案します。
これは、モデル所有者がさまざまなデータに対する ICL の動作を調整できるように設計された微調整フレームワークです。
ICLGuard は、元の LLM を保存し、LLM を「保護」するために追加のトレーニング可能なパラメーターの最小限のセットのみを微調整します。
経験的な結果は、保護された LLM は、他のデータに対する ICL 機能およびすべてのデータにわたる一般的な機能に影響を与えることなく、ターゲット データに対する ICL 機能を非アクティブ化できることを示しています。

要約(オリジナル)

In-context learning (ICL) is a recent advancement in the capabilities of large language models (LLMs). This feature allows users to perform a new task without updating the model. Concretely, users can address tasks during the inference time by conditioning on a few input-label pair demonstrations along with the test input. It is different than the conventional fine-tuning paradigm and offers more flexibility. However, this capability also introduces potential issues. For example, users may use the model on any data without restriction, such as performing tasks with improper or sensitive content, which might violate the model policy or conflict with the model owner’s interests. As a model owner, it is crucial to establish a mechanism to control the model’s behavior under ICL, depending on the model owner’s requirements for various content. To this end, we introduce the concept of ‘applicability authorization’ tailored for LLMs, particularly for ICL behavior, and propose a simple approach, ICLGuard. It is a fine-tuning framework designed to allow the model owner to regulate ICL behavior on different data. ICLGuard preserves the original LLM and fine-tunes only a minimal set of additional trainable parameters to ‘guard’ the LLM. Empirical results show that the guarded LLM can deactivate its ICL ability on target data without affecting its ICL ability on other data and its general functionality across all data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google