You’ve Got to Feel It To Believe It: Multi-Modal Bayesian Inference for Semantic and Property Prediction

要約

ロボットが困難な環境で複雑なタスクを実行するには、周囲を理解できなければなりません。これらの複雑なタスクの多くでは、摩擦や重量などの物理的特性の推定が必要です。
学習を使用してこのようなプロパティを推定することは、トレーニングに必要な大量のラベル付きデータと、実行時にこれらの学習済みモデルをオンラインで更新することが難しいため、困難です。
これらの課題を克服するために、この論文では、意味論的な予測と物理的特性の推定を確率論的に組み合わせて表現するための新しいマルチモーダルなアプローチを紹介します。
共役ペアを使用することにより、提案された方法は、追加のトレーニング データを必要とせずに、視覚的および触覚的測定が与えられた場合の閉形式ベイジアン更新を可能にします。
提案されたアルゴリズムの有効性は、いくつかのハードウェア実験を通じて実証されます。
特に、この論文は、物理的特性に基づいて意味分類を条件付けることにより、提案された方法が視覚のみに依存する最先端の意味分類方法を定量的に上回ることを示しています。
その有用性をさらに説明するために、提案された方法は、アフォーダンスベースの特性を確率的に表現したり、脚式ロボットを使用した困難な地形横断タスクを含むいくつかのアプリケーションで使用されています。
後者のタスクでは、提案された方法は地形の摩擦係数を確率的に表し、期待値が満たされた場合に脚式ロボットを動的歩行から静的で安定した歩行に切り替えるオンラインのリスク認識プランナーの使用を可能にします。
摩擦係数が所定の閾値を下回る。
これらのケーススタディのビデオとオープンソースの C++ および ROS インターフェイスは、https://roahmlab.github.io/multimodal_mapping/ でご覧いただけます。

要約(オリジナル)

Robots must be able to understand their surroundings to perform complex tasks in challenging environments and many of these complex tasks require estimates of physical properties such as friction or weight. Estimating such properties using learning is challenging due to the large amounts of labelled data required for training and the difficulty of updating these learned models online at run time. To overcome these challenges, this paper introduces a novel, multi-modal approach for representing semantic predictions and physical property estimates jointly in a probabilistic manner. By using conjugate pairs, the proposed method enables closed-form Bayesian updates given visual and tactile measurements without requiring additional training data. The efficacy of the proposed algorithm is demonstrated through several hardware experiments. In particular, this paper illustrates that by conditioning semantic classifications on physical properties, the proposed method quantitatively outperforms state-of-the-art semantic classification methods that rely on vision alone. To further illustrate its utility, the proposed method is used in several applications including to represent affordance-based properties probabilistically and a challenging terrain traversal task using a legged robot. In the latter task, the proposed method represents the coefficient of friction of the terrain probabilistically, which enables the use of an on-line risk-aware planner that switches the legged robot from a dynamic gait to a static, stable gait when the expected value of the coefficient of friction falls below a given threshold. Videos of these case studies as well as the open-source C++ and ROS interface can be found at https://roahmlab.github.io/multimodal_mapping/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google