End-to-end Manipulator Calligraphy Planning via Variational Imitation Learning

要約

タイトル：バリアショナル・イミテーション・ラーニングを用いたエンド・トゥ・エンドのマニピュレーター書道計画

要約：
– 深層ニューラルネットワークの進化により、デモンストレーションからの計画の手法が成功を示しています。
– ロボティクスマニピュレーターを使用した自動手書きが最もポピュラーな実世界のアプリケーションの一つです。
– 日本の書道や芸術作品のように、ペンの向きがユーザーの表現の一部である場合には、2次元の問題として単純化することは不十分です。
– この研究では、軌道の3次元表現およびペン先の回転による日本の書道の自動計画に焦点を当て、画像とポーズデータの組み合わせによる新しい深層イミテーションラーニングニューラルネットワークを提案します。
– このネットワークは、変分オートエンコーダ、双方向LSTM、および多層パーセプトロン（MLP）の組み合わせで構成されています。
– 実験は段階的に実施され、その結果、提案された手法は、真のロボットのタスクの完了で成功し、イミテーション学習における分布シフト問題を克服しています。
– ソースコードとデータセットは公開されます。

要約(オリジナル)

Planning from demonstrations has shown promising results with the advances of deep neural networks. One of the most popular real-world applications is automated handwriting using a robotic manipulator. Classically it is simplified as a two-dimension problem. This representation is suitable for elementary drawings, but it is not sufficient for Japanese calligraphy or complex work of art where the orientation of a pen is part of the user expression. In this study, we focus on automated planning of Japanese calligraphy using a three-dimension representation of the trajectory as well as the rotation of the pen tip, and propose a novel deep imitation learning neural network that learns from expert demonstrations through a combination of images and pose data. The network consists of a combination of variational auto-encoder, bi-directional LSTM, and Multi-Layer Perceptron (MLP). Experiments are conducted in a progressive way, and results demonstrate that the proposed approach is successful in completion of tasks for real-world robots, overcoming the distribution shift problem in imitation learning. The source code and dataset will be public.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI