Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics

要約

データセットが急速に増大し、タスクがより複雑になる中、適切にキャリブレーションされた確率回帰モデルは、ロボット工学アプリケーションにおける重要な学習コンポーネントです。
残念なことに、古典的な回帰モデルは通常、データに応じて適切にスケールできない柔軟な構造を備えた確率論的なカーネル マシンか、制限的なパラメトリック形式と不十分な正則化を備えているにもかかわらず、決定論的で非常にスケーラブルなオートマトンのいずれかです。
この論文では、本質的な複雑さの正則化を伴う計算効率の高い表現を実現するために、両方の世界の利点を組み合わせた確率的階層モデリング パラダイムを検討します。
提示されたアプローチは、ローカル線形または多項式単位のセットを通じて非線形関数を近似するローカル回帰手法の確率論的解釈です。
重要なのは、ベイジアン ノンパラメトリックの原則に基づいて、複雑さをデータに適応させ、潜在的に無限の数のコンポーネントを包含できる柔軟なモデルを定式化していることです。
これらの表現を学習するための 2 つの効率的な変分推論手法を導き出し、非滑らかな関数の処理、致命的な忘却の軽減、パラメーター共有と高速予測の可能化など、階層型無限局所回帰モデルの利点を強調します。
最後に、大規模な逆ダイナミクス データセットでこのアプローチを検証し、学習されたモデルを現実世界の制御シナリオでテストします。

要約(オリジナル)

Well-calibrated probabilistic regression models are a crucial learning component in robotics applications as datasets grow rapidly and tasks become more complex. Unfortunately, classical regression models are usually either probabilistic kernel machines with a flexible structure that does not scale gracefully with data or deterministic and vastly scalable automata, albeit with a restrictive parametric form and poor regularization. In this paper, we consider a probabilistic hierarchical modeling paradigm that combines the benefits of both worlds to deliver computationally efficient representations with inherent complexity regularization. The presented approaches are probabilistic interpretations of local regression techniques that approximate nonlinear functions through a set of local linear or polynomial units. Importantly, we rely on principles from Bayesian nonparametrics to formulate flexible models that adapt their complexity to the data and can potentially encompass an infinite number of components. We derive two efficient variational inference techniques to learn these representations and highlight the advantages of hierarchical infinite local regression models, such as dealing with non-smooth functions, mitigating catastrophic forgetting, and enabling parameter sharing and fast predictions. Finally, we validate this approach on large inverse dynamics datasets and test the learned models in real-world control scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google