Core Challenges in Embodied Vision-Language Planning

要約

【タイトル】 実体化された視覚言語計画における主要な課題

【要約】

– 最近のマルチモーダル機械学習と人工知能（AI）の進歩により、コンピュータビジョン、自然言語処理、ロボット工学の交差点で複雑なタスクが開発された。
– 多くのアプローチや以前の調査は、これらの次元の1つまたは2つを特徴づけてきたが、すべての3つの中心での包括的な分析は存在しなかった。
– これらのトピックの組み合わせが考慮される場合でも、現在のアーキテクチャの方法の説明に焦点があるため、フィールドにおける高レベルの課題や機会をも描写することが必要である。
– 本調査論文では、物理的環境での相互作用にコンピュータビジョンと自然言語処理を組み合わせた、主要な実体化されたナビゲーションや操作の問題である実体化された視覚言語計画（EVLP）タスクについて議論する。
– 我々は、これらのタスクを統一するためのタクソノミを提案し、EVLPタスクに使用される現在および新しいアルゴリズムのアプローチ、メトリックス、シミュレータ、およびデータセットの詳細な分析と比較を提供する。
– 最後に、新しいEVLP作品が取り組むべき主要な課題を提示し、モデルの汎用性を可能にし、現実世界の展開を進めるタスク構築を提唱する。

要約(オリジナル)

Recent advances in the areas of Multimodal Machine Learning and Artificial Intelligence (AI) have led to the development of challenging tasks at the intersection of Computer Vision, Natural Language Processing, and Robotics. Whereas many approaches and previous survey pursuits have characterised one or two of these dimensions, there has not been a holistic analysis at the center of all three. Moreover, even when combinations of these topics are considered, more focus is placed on describing, e.g., current architectural methods, as opposed to also illustrating high-level challenges and opportunities for the field. In this survey paper, we discuss Embodied Vision-Language Planning (EVLP) tasks, a family of prominent embodied navigation and manipulation problems that jointly leverage computer vision and natural language for interaction in physical environments. We propose a taxonomy to unify these tasks and provide an in-depth analysis and comparison of the current and new algorithmic approaches, metrics, simulators, and datasets used for EVLP tasks. Finally, we present the core challenges that we believe new EVLP works should seek to address, and we advocate for task construction that enables model generalisability and furthers real-world deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI