Adaptive Stress Testing Black-Box LLM Planners

要約

大規模な言語モデル（LLM）は最近、計画、制御、予測などの意思決定タスク全体で一般化することに成功を示していますが、安全でないアウトプットを幻覚化する傾向はリスクをもたらします。
特に安全性の高いシナリオでは、そのような障害を検出することが必要であると主張します。
既存のブラックボックスメソッドは、多くの場合、複数のサンプルにわたって矛盾を識別することにより幻覚を検出します。
これらのアプローチの多くは、通常、詳細な順序をランダム化したり、敵対的な入力を生成したりするなどの迅速な摂動を導入し、自信のあるモデルが安定した出力を生成するように直面しています。
最初に、他の形式の摂動（たとえば、ノイズの追加、センサーの詳細の削除）が運転環境でLLMが幻覚を起こすことを示す手動のケーススタディを実行します。
次に、モンテカルロツリー検索（MCTS）を使用した適応ストレステスト（AST）を使用して、迅速な摂動の空間を効率的に検索するための新しい方法を提案します。
ASTの定式化により、シナリオの発見を可能にし、言語モデルを高い不確実性で動作させるプロンプトが生じます。
多様なシナリオ全体でMCTSプロンプトの摂動ツリーを生成することにより、オフライン分析を実行時に使用して、モデルの不確実性に影響を与えるプロンプトを自動的に生成し、LLMのリアルタイムトラスト評価を通知できることを示します。

要約(オリジナル)

Large language models (LLMs) have recently demonstrated success in generalizing across decision-making tasks including planning, control and prediction, but their tendency to hallucinate unsafe and undesired outputs poses risks. We argue that detecting such failures is necessary, especially in safety-critical scenarios. Existing black-box methods often detect hallucinations by identifying inconsistencies across multiple samples. Many of these approaches typically introduce prompt perturbations like randomizing detail order or generating adversarial inputs, with the intuition that a confident model should produce stable outputs. We first perform a manual case study showing that other forms of perturbations (e.g., adding noise, removing sensor details) cause LLMs to hallucinate in a driving environment. We then propose a novel method for efficiently searching the space of prompt perturbations using Adaptive Stress Testing (AST) with Monte-Carlo Tree Search (MCTS). Our AST formulation enables discovery of scenarios and prompts that cause language models to act with high uncertainty. By generating MCTS prompt perturbation trees across diverse scenarios, we show that offline analyses can be used at runtime to automatically generate prompts that influence model uncertainty, and to inform real-time trust assessments of an LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google