Semantic Anomaly Detection with Large Language Models

要約

ロボットがますます洗練されたスキルを獲得し、ますます複雑で多様な環境に対応するにつれて、エッジケースや異常な障害の脅威が常に存在します。
たとえば、テスラ車では、トラックが運ぶ信号機が作動していないことによるオートパイロットの解除から、道路脇の看板の一時停止標識の画像によって引き起こされるファントムブレーキに至るまで、興味深い故障モードが発生しています。
これらのシステム レベルの障害は、自律性スタックの個々のコンポーネントの障害が原因ではなく、意味論的推論におけるシステム レベルの欠陥が原因です。
このようなエッジケースは意味異常と呼ばれますが、人間が解読するのは簡単ですが、洞察力に富んだ推論が必要です。
この目的を達成するために、私たちは、そのようなエッジケースを認識し、ビジョンベースのポリシーにおける意味論的異常検出のための監視フレームワークを導入するために、広範な文脈理解と推論能力を備えた大規模言語モデル (LLM) の適用を研究しています。
私たちの実験では、このフレームワークを自動運転の有限状態マシン ポリシーとオブジェクト操作の学習ポリシーに適用しました。
これらの実験は、LLM ベースのモニターが人間の推論と一致する方法で意味論的な異常を効果的に識別できることを示しています。
最後に、このアプローチの長所と短所について詳しく説明し、意味論的異常検出に基礎モデルをさらに使用する方法についての研究の見通しを刺激します。

要約(オリジナル)

As robots acquire increasingly sophisticated skills and see increasingly complex and varied environments, the threat of an edge case or anomalous failure is ever present. For example, Tesla cars have seen interesting failure modes ranging from autopilot disengagements due to inactive traffic lights carried by trucks to phantom braking caused by images of stop signs on roadside billboards. These system-level failures are not due to failures of any individual component of the autonomy stack but rather system-level deficiencies in semantic reasoning. Such edge cases, which we call semantic anomalies, are simple for a human to disentangle yet require insightful reasoning. To this end, we study the application of large language models (LLMs), endowed with broad contextual understanding and reasoning capabilities, to recognize such edge cases and introduce a monitoring framework for semantic anomaly detection in vision-based policies. Our experiments apply this framework to a finite state machine policy for autonomous driving and a learned policy for object manipulation. These experiments demonstrate that the LLM-based monitor can effectively identify semantic anomalies in a manner that shows agreement with human reasoning. Finally, we provide an extended discussion on the strengths and weaknesses of this approach and motivate a research outlook on how we can further use foundation models for semantic anomaly detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google