SDPRLayers: Certifiable Backpropagation Through Polynomial Optimization Problems in Robotics

要約

微分可能な最適化は、ロボット工学におけるモデルベースのアプローチと学習ベースのアプローチを調和させることができる強力な新しいパラダイムです。
ただし、ロボット最適化問題の大部分は非凸であるため、現在の微分可能な最適化手法は極小値に収束する傾向があります。
これが発生すると、これらの既存のソルバーによって提供される勾配は大幅に不正確になる可能性があり、最終的にはトレーニング プロセスが破損します。
一方、多くの非凸ロボット問題は多項式最適化問題として組み立てることができ、その結果、いわゆる正確な方法で大域的な解を回復するために使用できる凸緩和を認めることができます。
我々は、これらのメソッドと最先端の凸陰的微分技術を活用して、トレーニング プロセス全体を通して確実に正しい勾配を提供するアプローチである SDPRLayers を紹介します。
このアプローチを導入し、勾配の正確さが保証される条件を提供する理論的結果を紹介します。
まず、2 つの単純だが実証的なシミュレーション例でアプローチを実証します。これらの例は、既存の最先端の微分可能な最適化手法の潜在的な落とし穴を明らかにします。
次に、この方法を現実世界のアプリケーションに適用します。ディープ ニューラル ネットワークをトレーニングして、困難な照明条件下でロボットの位置を特定するための画像キーポイントを検出します。
私たちは、オープンソースの SDPRLayers の PyTorch 実装と微分可能なローカリゼーション パイプラインを提供します。

要約(オリジナル)

Differentiable optimization is a powerful new paradigm capable of reconciling model-based and learning-based approaches in robotics. However, the majority of robotics optimization problems are non-convex and current differentiable optimization techniques are therefore prone to convergence to local minima. When this occurs, the gradients provided by these existing solvers can be wildly inaccurate and will ultimately corrupt the training process. On the other hand, many non-convex robotics problems can be framed as polynomial optimization problems and, in turn, admit convex relaxations that can be used to recover a global solution via so-called certifiably correct methods. We present SDPRLayers, an approach that leverages these methods as well as state-of-the-art convex implicit differentiation techniques to provide certifiably correct gradients throughout the training process. We introduce this approach and showcase theoretical results that provide conditions under which correctness of the gradients is guaranteed. We first demonstrate our approach on two simple-but-demonstrative simulated examples, which expose the potential pitfalls of existing, state-of-the-art, differentiable optimization methods. We then apply our method in a real-world application: we train a deep neural network to detect image keypoints for robot localization in challenging lighting conditions. We provide our open-source, PyTorch implementation of SDPRLayers and our differentiable localization pipeline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google