Robustness Testing of Multi-Modal Models in Varied Home Environments for Assistive Robots

要約

家事をサポートする支援ロボット エージェントの開発は進んでいますが、基礎となるモデルは現実世界の複雑さを反映していない仮想設定で動作することがよくあります。
福祉介護ロボットが多様な環境で効果を発揮するには、そのモデルが堅牢であり、複数のモダリティを統合する必要があります。
管理人が薄暗い部屋で支援を必要としている場合や、新しく設置されたガラスドアの周りを移動している場合を考えてみましょう。
視覚入力のみに依存するモデルは暗い場所では失敗する可能性がありますが、深度情報を使用するモデルはドアを回避する可能性があります。
これは、さまざまな感覚入力を処理できるモデルの必要性を示しています。
私たちの進行中の研究では、AI2Thor 仮想環境で最先端のロボット モデルを評価しています。
薄暗い照明や鏡張りの壁などの外乱を導入し、運動や視覚、物体認識などのモダリティへの影響を評価します。
私たちの目標は、Geriatronics コミュニティからの意見を集めて、実践者が直面する課題を理解し、モデル化することです。

要約(オリジナル)

The development of assistive robotic agents to support household tasks is advancing, yet the underlying models often operate in virtual settings that do not reflect real-world complexity. For assistive care robots to be effective in diverse environments, their models must be robust and integrate multiple modalities. Consider a caretaker needing assistance in a dimly lit room or navigating around a newly installed glass door. Models relying solely on visual input might fail in low light, while those using depth information could avoid the door. This demonstrates the necessity for models that can process various sensory inputs. Our ongoing study evaluates state-of-the-art robotic models in the AI2Thor virtual environment. We introduce disturbances, such as dimmed lighting and mirrored walls, to assess their impact on modalities like movement or vision, and object recognition. Our goal is to gather input from the Geriatronics community to understand and model the challenges faced by practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google