Evaluating Shutdown Avoidance of Language Models in Textual Scenarios

要約

最近、緊急かつ危険な機能について大規模な言語モデルを評価することへの関心が高まっています。
重要なのは、エージェントは、シナリオによってはオフにしないほうが目標を達成できると推論する可能性があり、それが望ましくない動作につながる可能性があります。
この論文では、GPT-4 や Claude などの言語モデルにおける道具的推論とシャットダウン回避を評価するためにおもちゃのテキスト シナリオを使用する可能性を調査します。
さらに、シャットダウン回避が単にデータセットとプロンプト間の単純なパターン一致の結果であるのか、それともさまざまな環境やバリエーションにわたって一貫した動作であるのかを調査します。
私たちは動作を手動で評価し、自動評価に言語モデルを使用する実験も行いました。これらの評価は、単純なパターン マッチングがシャットダウン回避の唯一の要因ではない可能性があることを示しています。
この研究は、シャットダウン回避シナリオにおける言語モデルの動作に関する洞察を提供し、評価のためのテキスト シナリオの使用に関するさらなる研究を刺激します。

要約(オリジナル)

Recently, there has been an increase in interest in evaluating large language models for emergent and dangerous capabilities. Importantly, agents could reason that in some scenarios their goal is better achieved if they are not turned off, which can lead to undesirable behaviors. In this paper, we investigate the potential of using toy textual scenarios to evaluate instrumental reasoning and shutdown avoidance in language models such as GPT-4 and Claude. Furthermore, we explore whether shutdown avoidance is merely a result of simple pattern matching between the dataset and the prompt or if it is a consistent behaviour across different environments and variations. We evaluated behaviours manually and also experimented with using language models for automatic evaluations, and these evaluations demonstrate that simple pattern matching is likely not the sole contributing factor for shutdown avoidance. This study provides insights into the behaviour of language models in shutdown avoidance scenarios and inspires further research on the use of textual scenarios for evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google