Real-Time Operator Takeover for Visuomotor Diffusion Policy Training

要約

リアルタイムオペレーターテイクオーバー（RTOT）パラダイムを紹介し、オペレーターがライブ視覚運動拡散ポリシーをシームレスに制御し、システムを望ましい状態に戻すか、特定のデモを強化できるようにします。
マハロノビス距離を使用して、望ましくない状態を自動的に識別する新しい洞察を提示します。
オペレーターがシステムに介入してリダイレクトされると、コントロールはシームレスにポリシーに戻り、さらに介入が必要になるまで生成アクションを再開します。
ターゲットを絞ったテイクオーバーデモを組み込むと、同等の数の、しかしより長い初期デモンストレーションだけでトレーニングと比較して、ポリシーのパフォーマンスが大幅に向上することを実証します。
マハラノビス距離を使用して分散状態を検出することの詳細な分析を提供し、実行中の重大な障害点を特定するための有用性を示しています。
初期およびテイクオーバーデモンストレーションのビデオやすべてのライススクープ実験を含むサポート資料は、プロジェクトWebサイトhttps：//operator-takeover.github.io/で入手できます。

要約(オリジナル)

We present a Real-Time Operator Takeover (RTOT) paradigm enabling operators to seamlessly take control of a live visuomotor diffusion policy, guiding the system back into desirable states or reinforcing specific demonstrations. We present new insights in using the Mahalonobis distance to automatically identify undesirable states. Once the operator has intervened and redirected the system, the control is seamlessly returned to the policy, which resumes generating actions until further intervention is required. We demonstrate that incorporating the targeted takeover demonstrations significantly improves policy performance compared to training solely with an equivalent number of, but longer, initial demonstrations. We provide an in-depth analysis of using the Mahalanobis distance to detect out-of-distribution states, illustrating its utility for identifying critical failure points during execution. Supporting materials, including videos of initial and takeover demonstrations and all rice scooping experiments, are available on the project website: https://operator-takeover.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google