Effect of Optimizer, Initializer, and Architecture of Hypernetworks on Continual Learning from Demonstration

要約

デモンストレーションからの継続学習 (CLfD) では、ロボットは人間のデモンストレーションから一連の実世界の動作スキルを継続的に学習します。
最近、ハイパーネットワークがこの問題の解決に成功しました。
このペーパーでは、CLfD のハイパーネットワークの継続学習パフォーマンスに対するさまざまなオプティマイザ、イニシャライザ、およびネットワーク アーキテクチャの影響について探索的研究を実行します。
私たちの結果は、適応学習率オプティマイザーはうまく機能しますが、ハイパーネットワーク用に特別に設計されたイニシャライザーは CLfD にとって利点をもたらさないことを示しています。
また、安定した軌道予測が可能なハイパーネットワークは、さまざまなネットワーク アーキテクチャに対して堅牢であることも示します。
私たちのオープンソース コードは https://github.com/sebastianbergner/ExploringCLFD で入手できます。

要約(オリジナル)

In continual learning from demonstration (CLfD), a robot learns a sequence of real-world motion skills continually from human demonstrations. Recently, hypernetworks have been successful in solving this problem. In this paper, we perform an exploratory study of the effects of different optimizers, initializers, and network architectures on the continual learning performance of hypernetworks for CLfD. Our results show that adaptive learning rate optimizers work well, but initializers specially designed for hypernetworks offer no advantages for CLfD. We also show that hypernetworks that are capable of stable trajectory predictions are robust to different network architectures. Our open-source code is available at https://github.com/sebastianbergner/ExploringCLFD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google