Fine-Tuning Generative Models as an Inference Method for Robotic Tasks

要約

適応可能なモデルは、現実世界で活動するロボットエージェントに大きな利益をもたらし、新しく変化する条件に対処できるようにする可能性があります。
ベイズ推論などのアプローチはモデルを証拠に適応させるためのよく研究されたフレームワークですが、私たちはロボット工学の多くの分野に大きな影響を与えた深層生成モデルの最近の進歩に基づいています。
最新の GPU アクセラレーションを利用して、ニューラル ネットワーク モデルのサンプル生成をロボット タスクの観察に迅速に適応させる方法を調査します。
さまざまな深層生成モデルやロボット環境に適用できる、シンプルで一般的な手法を提案します。
重要なアイデアは、クロスエントロピー法を使用して、観察された証拠と一致する生成されたサンプルにモデルを適合させることで、モデルを迅速に微調整することです。
私たちの方法が自己回帰モデルと変分自動エンコーダの両方に適用できることを示し、把握からの物体形状の推論、逆運動学の計算、および点群の完成における有用性を実証します。

要約(オリジナル)

Adaptable models could greatly benefit robotic agents operating in the real world, allowing them to deal with novel and varying conditions. While approaches such as Bayesian inference are well-studied frameworks for adapting models to evidence, we build on recent advances in deep generative models which have greatly affected many areas of robotics. Harnessing modern GPU acceleration, we investigate how to quickly adapt the sample generation of neural network models to observations in robotic tasks. We propose a simple and general method that is applicable to various deep generative models and robotic environments. The key idea is to quickly fine-tune the model by fitting it to generated samples matching the observed evidence, using the cross-entropy method. We show that our method can be applied to both autoregressive models and variational autoencoders, and demonstrate its usability in object shape inference from grasping, inverse kinematics calculation, and point cloud completion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google