Visual Action Planning with Multiple Heterogeneous Agents

要約

ビジュアルプランニング手法は、システム状態の抽出が困難な複雑な設定を処理できると期待されています。
しかし、既存の研究はいずれも、異なる機能および/または実施形態によって特徴付けられる複数の異種エージェントのケースに取り組んでいません。
本研究では、低次元構造化潜在空間に構築され計画に使用されるロードマップを利用することにより、マルチエージェント環境における視覚的な行動計画を実現する手法を提案する。
マルチエージェント設定を有効にするために、個々のアクションに関連付けられたタプルで構成されるデータセットから可能な並列アクションを推測します。
次に、マルチエージェント システムの機能に基づいてそれらの実現可能性とコストを評価し、ロードマップにこの情報を与えて、機能潜在空間ロードマップ (C-LSR) を構築します。
さらに、機能提案戦略は、パスが見つからない場合に欠落している可能性のある機能を人間のオペレーターに通知するように設計されています。
このアプローチは、シミュレートされたハンバーガー調理タスクと現実世界の箱詰めタスクで検証されます。

要約(オリジナル)

Visual planning methods are promising to handle complex settings where extracting the system state is challenging. However, none of the existing works tackles the case of multiple heterogeneous agents which are characterized by different capabilities and/or embodiment. In this work, we propose a method to realize visual action planning in multi-agent settings by exploiting a roadmap built in a low-dimensional structured latent space and used for planning. To enable multi-agent settings, we infer possible parallel actions from a dataset composed of tuples associated with individual actions. Next, we evaluate feasibility and cost of them based on the capabilities of the multi-agent system and endow the roadmap with this information, building a capability latent space roadmap (C-LSR). Additionally, a capability suggestion strategy is designed to inform the human operator about possible missing capabilities when no paths are found. The approach is validated in a simulated burger cooking task and a real-world box packing task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google