Multimodal Anomaly Detection based on Deep Auto-Encoder for Object Slip Perception of Mobile Manipulation Robots

要約

移動操作ロボットが動的な現実世界で操作タスクを確実に実行するには、物体の滑り認識が不可欠です。
ロボット アームの滑り認識に対する従来のアプローチでは、触覚センサーまたは視覚センサーが使用されます。
しかし、移動ロボットは依然として、環境の変化におけるロボットの動きによって生じるセンサー信号のノイズに対処する必要があります。
この問題を解決するために、ディープオートエンコーダーモデルに基づいた多感覚データを利用する異常検出方法を提案します。
提案されたフレームワークは、RGB カメラや深度カメラ、マイク、力トルク センサーなどのさまざまなロボット センサーから収集された異種データ ストリームを統合します。
統合されたデータは、ディープ オートエンコーダーをトレーニングして、正常な状態を示す多感覚データの潜在表現を構築するために使用されます。
異常は、トレーニングされたエンコーダーの潜在値と再構築された入力データの潜在値の間の差によって測定されるエラー スコアによって識別できます。
提案したフレームワークを評価するために、多様な家庭用品と異なる移動パターンがある現実世界の環境で動作する移動サービスロボットによる物体の滑りを模倣する実験を実施しました。
実験の結果、提案したフレームワークは、さまざまな物体の種類やロボットの動作、環境内の視覚的および聴覚的なノイズにもかかわらず、物体の滑り状況の異常を確実に検出できることが検証されました。

要約(オリジナル)

Object slip perception is essential for mobile manipulation robots to perform manipulation tasks reliably in the dynamic real-world. Traditional approaches to robot arms’ slip perception use tactile or vision sensors. However, mobile robots still have to deal with noise in their sensor signals caused by the robot’s movement in a changing environment. To solve this problem, we present an anomaly detection method that utilizes multisensory data based on a deep autoencoder model. The proposed framework integrates heterogeneous data streams collected from various robot sensors, including RGB and depth cameras, a microphone, and a force-torque sensor. The integrated data is used to train a deep autoencoder to construct latent representations of the multisensory data that indicate the normal status. Anomalies can then be identified by error scores measured by the difference between the trained encoder’s latent values and the latent values of reconstructed input data. In order to evaluate the proposed framework, we conducted an experiment that mimics an object slip by a mobile service robot operating in a real-world environment with diverse household objects and different moving patterns. The experimental results verified that the proposed framework reliably detects anomalies in object slip situations despite various object types and robot behaviors, and visual and auditory noise in the environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google