Fast Trajectory End-Point Prediction with Event Cameras for Reactive Robot Control

要約

予測スキルは、ロボットが行動する時間が限られているタスクや関節の作動力が限られているタスクを成功させるために非常に重要です。
このようなシナリオでは、固定の、場合によっては低すぎるサンプリング レートを使用するビジョン システムでは、有益なポイントが失われ、予測の収束が遅くなり、精度が低下する可能性があります。
このホワイト ペーパーでは、これらの問題を克服するために、イベント カメラの低レイテンシ、モーション ドリブン サンプリング、およびデータ圧縮の特性を活用することを提案します。
ユースケースとして、Panda ロボット アームを使用して、テーブルで跳ねるボールを傍受します。
インターセプト ポイントを予測するために、ステートフル LSTM ネットワークを採用します。これは、入力長が固定されていない特定の LSTM バリアントです。これは、イベント ドリブン パラダイムと、軌跡の長さが定義されていない目前の問題に完全に適合します。
シミュレーションでネットワークをトレーニングして、データセットの取得を高速化し、実際の軌跡でモデルを微調整します。
実験結果は、高密度の空間サンプリング (つまり、イベント カメラ) を使用すると、固定された時間サンプリング (つまり、フレームベースのカメラ) と比較して、傍受された軌跡の数が大幅に増加することを示しています。

要約(オリジナル)

Prediction skills can be crucial for the success of tasks where robots have limited time to act or joints actuation power. In such a scenario, a vision system with a fixed, possibly too low, sampling rate could lead to the loss of informative points, slowing down prediction convergence and reducing the accuracy. In this paper, we propose to exploit the low latency, motion-driven sampling, and data compression properties of event cameras to overcome these issues. As a use-case, we use a Panda robotic arm to intercept a ball bouncing on a table. To predict the interception point, we adopt a Stateful LSTM network, a specific LSTM variant without fixed input length, which perfectly suits the event-driven paradigm and the problem at hand, where the length of the trajectory is not defined. We train the network in simulation to speed up the dataset acquisition and then fine-tune the models on real trajectories. Experimental results demonstrate how using a dense spatial sampling (i.e. event cameras) significantly increases the number of intercepted trajectories as compared to a fixed temporal sampling (i.e. frame-based cameras).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google