On the Limitations of Steering in Language Model Alignment

要約

ステアリングベクターは、推論時に言語モデルの振る舞いを整列させる有望なアプローチである。本稿では、アライメントメカニズムとしてのステアリングベクトルの限界を評価するためのフレームワークを提案する。変換フック介入と反意語ベースの関数ベクトルのフレームワークを用いて、ステアリングの有効性におけるプロンプト構造とコンテキストの複雑さの役割を評価する。その結果、ステアリングベクターは、価値アライメントなどの特定のアライメントタスクには有望であるが、LLMにおける汎用的なアライメント、特に複雑なシナリオにおいては、強固な基盤を提供しない可能性があることが示された。我々は、推論モデルのステアリング能力に関する今後の研究のための方法論的基礎を確立する。

要約(オリジナル)

Steering vectors are a promising approach to aligning language model behavior at inference time. In this paper, we propose a framework to assess the limitations of steering vectors as alignment mechanisms. Using a framework of transformer hook interventions and antonym-based function vectors, we evaluate the role of prompt structure and context complexity in steering effectiveness. Our findings indicate that steering vectors are promising for specific alignment tasks, such as value alignment, but may not provide a robust foundation for general-purpose alignment in LLMs, particularly in complex scenarios. We establish a methodological foundation for future investigations into steering capabilities of reasoning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL