Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art

要約

自律システムはすぐに、製造、農業、ヘルスケア、エンターテイメント、その他の産業にまたがるユビキタスになります。
これらのシステムのほとんどは、手工学または学習ベースの意思決定、計画、および制御のためのモジュール式サブコンポーネントで開発されています。
これらのアプローチは、特別に設計された状況ではうまく機能しますが、テスト時に間違いなく発生する分散型シナリオでは特に不十分に機能します。
印象的な大規模なデータセットで複数のタスクで訓練された基礎モデルの台頭により、研究者は、これらのモデルが既存のプランナーが欠落しているという「常識」推論を提供し、アルゴリズムの開発と展開の間のギャップを埋めると信じるようになりました。
研究者は、意思決定タスクに基礎モデルを展開することで有望な結果を示していますが、これらのモデルは幻覚を起こし、合理的に聞こえるかもしれないが実際には貧弱な決定を生成することが知られています。
私たちは、モデルの決定の確実性を定量化し、幻覚がいつであるかを検出できるシステムを後退させて同時に設計する必要があると主張します。
この作業では、意思決定タスクの基礎モデルの現在のユースケースについて説明し、幻覚の一般的な定義を例で提供し、意思決定の問題に焦点を当て、幻覚検出と緩和に対する既存のアプローチについて説明し、ガイドラインの提示を行い、
このエキサイティングな分野でのさらなる研究。

要約(オリジナル)

Autonomous systems are soon to be ubiquitous, spanning manufacturing, agriculture, healthcare, entertainment, and other industries. Most of these systems are developed with modular sub-components for decision-making, planning, and control that may be hand-engineered or learning-based. While these approaches perform well under the situations they were specifically designed for, they can perform especially poorly in out-of-distribution scenarios that will undoubtedly arise at test-time. The rise of foundation models trained on multiple tasks with impressively large datasets has led researchers to believe that these models may provide ‘common sense’ reasoning that existing planners are missing, bridging the gap between algorithm development and deployment. While researchers have shown promising results in deploying foundation models to decision-making tasks, these models are known to hallucinate and generate decisions that may sound reasonable, but are in fact poor. We argue there is a need to step back and simultaneously design systems that can quantify the certainty of a model’s decision, and detect when it may be hallucinating. In this work, we discuss the current use cases of foundation models for decision-making tasks, provide a general definition for hallucinations with examples, discuss existing approaches to hallucination detection and mitigation with a focus on decision problems, present guidelines, and explore areas for further research in this exciting field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google