Real-Time Anomaly Detection and Reactive Planning with Large Language Models

要約

インターネット規模のデータでトレーニングされた大規模言語モデル (LLM) などの基盤モデルは、ゼロショット汎化機能を備えており、ロボット システムの分散外故障モードの検出と軽減に向けた有望なテクノロジーとなっています。
しかし、この約束を完全に実現するには、(i) オンラインで適用できるようにこれらのモデルのかなりの計算コストを軽減すること、(ii) 潜在的な異常に関する判断を安全な制御フレームワークに組み込むことという 2 つの課題が生じます。
この研究では、2 段階の推論フレームワークを紹介します。1 つ目は、LLM 埋め込み空間内の観測値を分析する高速バイナリ異常分類器です。次に、生成 LLM の推論機能を利用する、より遅いフォールバック選択ステージをトリガーする可能性があります。
これらの段階は、異常が検出されるとすぐに遅い推論器の待ち時間を考慮して、さまざまなフォールバック計画に沿って続行する共同の実現可能性を維持するモデル予測制御戦略の分岐点に対応し、安全性を確保します。
私たちの高速異常分類器は、比較的小さな言語モデルでインスタンス化された場合でも、最先端の GPT モデルを使用した自己回帰推論よりも優れたパフォーマンスを発揮することを示します。
これにより、当社のランタイム モニターは、リソースと時間の制約の下で、クアッドローターや自律走行車などの動的ロボット システムの信頼性を向上させることができます。
シミュレーションと実際の実験の両方における私たちのアプローチを説明するビデオは、このプロジェクト ページ: https://sites.google.com/view/aesop-llm でご覧いただけます。

要約(オリジナル)

Foundation models, e.g., large language models (LLMs), trained on internet-scale data possess zero-shot generalization capabilities that make them a promising technology towards detecting and mitigating out-of-distribution failure modes of robotic systems. Fully realizing this promise, however, poses two challenges: (i) mitigating the considerable computational expense of these models such that they may be applied online, and (ii) incorporating their judgement regarding potential anomalies into a safe control framework. In this work, we present a two-stage reasoning framework: First is a fast binary anomaly classifier that analyzes observations in an LLM embedding space, which may then trigger a slower fallback selection stage that utilizes the reasoning capabilities of generative LLMs. These stages correspond to branch points in a model predictive control strategy that maintains the joint feasibility of continuing along various fallback plans to account for the slow reasoner’s latency as soon as an anomaly is detected, thus ensuring safety. We show that our fast anomaly classifier outperforms autoregressive reasoning with state-of-the-art GPT models, even when instantiated with relatively small language models. This enables our runtime monitor to improve the trustworthiness of dynamic robotic systems, such as quadrotors or autonomous vehicles, under resource and time constraints. Videos illustrating our approach in both simulation and real-world experiments are available on this project page: https://sites.google.com/view/aesop-llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google