CogExplore: Contextual Exploration with Language-Encoded Environment Representations

要約

言語モデルをロボット探索フレームワークに統合すると、意味論的な基礎、文脈上の手がかり、時間的状態を推論する機能が提供されるため、マップされていない環境でのパフォーマンスが向上します。
提案された方法では、大規模言語モデル (GPT-3.5 および Claude Haiku) を使用してこれらの手がかりを推論し、その推論を自然言語で表現します。これは、将来の状態を通知するために使用できます。
私たちは、効率的な探索が重要である捜索救助アプリケーションのコンテキストに動機付けられています。
自然言語、セマンティクス、および時間状態の追跡を活用することで、提案された方法は探索経路の距離を大幅に短縮し、環境依存のヒューリスティックの必要性をさらに明らかにすることがわかりました。
さらに、このメソッドは、Unreal Engine で動作するカスタム シミュレーション パイプラインで実行された 3 つの異なる環境にわたる一連の包括的な実験で 100% の成功率で示されているように、さまざまな環境やノイズの多い視覚検出に対して非常に堅牢です。

要約(オリジナル)

Integrating language models into robotic exploration frameworks improves performance in unmapped environments by providing the ability to reason over semantic groundings, contextual cues, and temporal states. The proposed method employs large language models (GPT-3.5 and Claude Haiku) to reason over these cues and express that reasoning in terms of natural language, which can be used to inform future states. We are motivated by the context of search-and-rescue applications where efficient exploration is critical. We find that by leveraging natural language, semantics, and tracking temporal states, the proposed method greatly reduces exploration path distance and further exposes the need for environment-dependent heuristics. Moreover, the method is highly robust to a variety of environments and noisy vision detections, as shown with a 100% success rate in a series of comprehensive experiments across three different environments conducted in a custom simulation pipeline operating in Unreal Engine.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google