MMRo: Are Multimodal LLMs Eligible as the Brain for In-Home Robotics?

要約

ロボットが人間の環境で有用なアシスタントとして機能することは根本的に困難です。そのためには、知覚、言語理解、推論、計画など、ロボット工学全体にわたる一連の下位問題に対処する必要があるからです。
マルチモーダル大規模言語モデル (MLLM) の最近の進歩により、複雑な数学的問題を解決し、常識的かつ抽象的な推論を習得する際の並外れた能力が実証されました。
これにより、最近ではロボット システムの頭脳として MLLM が利用されるようになり、これらのモデルがタスク実行のための低レベルの制御アクションをトリガーする前に高レベルの計画を実行できるようになりました。
しかし、既存のMLLMがロボットの頭脳の役割を果たす上で信頼できるかどうかは依然として不明である。
この研究では、ロボット アプリケーション向けの MLLM の機能をテストする、Multimodal LLM for Robotic (MMRo) ベンチマークを評価するための最初のベンチマークを紹介します。
具体的には、MLLM がロボットの中央処理装置としての資格を得るために備えなければならない、知覚、タスク計画、視覚的推論、安全性測定という 4 つの必須能力を特定します。
機能ごとにいくつかのシナリオを開発し、合計 14 の評価指標が得られました。
既存のシステムのパフォーマンスを評価するために、商用モデルとオープンソース モデルの両方を含むさまざまな MLLM の実験結果を紹介します。
私たちの調査結果は、単一のモデルがすべての分野で優れているわけではないことを示しており、現在の MLLM がまだロボットの認知コアとして機能するほど十分に信頼できるものではないことを示唆しています。
データは https://mm-robobench.github.io/ にあります。

要約(オリジナル)

It is fundamentally challenging for robots to serve as useful assistants in human environments because this requires addressing a spectrum of sub-problems across robotics, including perception, language understanding, reasoning, and planning. The recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated their exceptional abilities in solving complex mathematical problems, mastering commonsense and abstract reasoning. This has led to the recent utilization of MLLMs as the brain in robotic systems, enabling these models to conduct high-level planning prior to triggering low-level control actions for task execution. However, it remains uncertain whether existing MLLMs are reliable in serving the brain role of robots. In this study, we introduce the first benchmark for evaluating Multimodal LLM for Robotic (MMRo) benchmark, which tests the capability of MLLMs for robot applications. Specifically, we identify four essential capabilities perception, task planning, visual reasoning, and safety measurement that MLLMs must possess to qualify as the robot’s central processing unit. We have developed several scenarios for each capability, resulting in a total of 14 metrics for evaluation. We present experimental results for various MLLMs, including both commercial and open-source models, to assess the performance of existing systems. Our findings indicate that no single model excels in all areas, suggesting that current MLLMs are not yet trustworthy enough to serve as the cognitive core for robots. Our data can be found in https://mm-robobench.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google