Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art

要約

自律システムは、製造の自律性から農業現場のロボット、医療アシスタントからエンターテイメント業界に至るまで、間もなく普及するでしょう。
これらのシステムの大部分は、意思決定、計画、および制御のためのモジュール式サブコンポーネントを使用して開発されており、これらは手作業または学習ベースで行われる場合があります。
これらの既存のアプローチは、特に設計された状況下では良好に機能することが示されていますが、テスト時に間違いなく発生する、まれな配布外のシナリオでは特にパフォーマンスが低下する可能性があります。
さまざまな分野からの驚くほど大規模なデータセットを使用して複数のタスクでトレーニングされた基礎モデルの台頭により、研究者は、これらのモデルが既存のプランナーに欠けている常識的な推論を提供する可能性があると信じるようになりました。
研究者らは、この常識的な推論が、アルゴリズムの開発と、人間が予期せぬシナリオにどのように適応するかなど、配布外のタスクへの展開との間のギャップを埋めるだろうと主張しています。
大規模な言語モデルはすでにロボット工学や自律システムの領域に浸透しており、研究者たちは展開における潜在的なユースケースを紹介しようと躍起になっています。
この適用方向は経験的に非常に有望ですが、基礎モデルは幻覚を起こし、合理的に聞こえるかもしれないが実際には不十分な決定を生成することが知られています。
私たちは、一歩下がって、モデルの決定の確実性を定量化し、それがいつ幻覚を起こしているかを検出できるシステムを設計する必要があると主張します。
この研究では、意思決定タスクの基礎モデルの現在の使用例について説明し、例を示して幻覚の一般的な定義を示し、意思決定の問題に焦点を当てた幻覚の検出と軽減に対する既存のアプローチについて説明し、さらなる研究の領域を探ります。
この刺激的なフィールド。

要約(オリジナル)

Autonomous systems are soon to be ubiquitous, from manufacturing autonomy to agricultural field robots, and from health care assistants to the entertainment industry. The majority of these systems are developed with modular sub-components for decision-making, planning, and control that may be hand-engineered or learning-based. While these existing approaches have been shown to perform well under the situations they were specifically designed for, they can perform especially poorly in rare, out-of-distribution scenarios that will undoubtedly arise at test-time. The rise of foundation models trained on multiple tasks with impressively large datasets from a variety of fields has led researchers to believe that these models may provide common sense reasoning that existing planners are missing. Researchers posit that this common sense reasoning will bridge the gap between algorithm development and deployment to out-of-distribution tasks, like how humans adapt to unexpected scenarios. Large language models have already penetrated the robotics and autonomous systems domains as researchers are scrambling to showcase their potential use cases in deployment. While this application direction is very promising empirically, foundation models are known to hallucinate and generate decisions that may sound reasonable, but are in fact poor. We argue there is a need to step back and simultaneously design systems that can quantify the certainty of a model’s decision, and detect when it may be hallucinating. In this work, we discuss the current use cases of foundation models for decision-making tasks, provide a general definition for hallucinations with examples, discuss existing approaches to hallucination detection and mitigation with a focus on decision problems, and explore areas for further research in this exciting field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google