SDPRLayers: Certifiable Backpropagation Through Polynomial Optimization Problems in Robotics

要約

微分可能な最適化は、ロボット工学におけるモデルベースのアプローチと学習ベースのアプローチを調和させることができる強力な新しいパラダイムです。
ただし、ロボット最適化問題の大部分は非凸であるため、現在の微分可能な最適化手法は極小値に収束する傾向があります。
これが発生すると、これらの既存のソルバーによって提供される勾配は大幅に不正確になる可能性があり、最終的にはトレーニング プロセスが破損します。
一方、非凸のロボット工学問題は多項式最適化問題として組み立てることができ、その結果、いわゆる正確な方法で大域的な解を回復するために使用できる凸緩和を認めることができます。
我々は、これらのメソッドと最先端の凸陰的微分技術を活用して、トレーニング プロセス全体を通して確実に正しい勾配を提供するアプローチである SDPRLayers を紹介します。
このアプローチを導入し、勾配の正確さが保証される条件を提供する理論的結果を紹介します。
私たちは、既存の最先端の微分可能な最適化手法の潜在的な落とし穴を明らかにする 2 つの単純だが実証的なシミュレーション例でアプローチを実証します。
私たちはこの方法を現実世界のアプリケーションに適用します。ディープ ニューラル ネットワークをトレーニングして、困難な照明条件下でロボットの位置を特定するための画像キーポイントを検出します。
SDPRLayers のオープンソースの PyTorch 実装は、論文が受理され次第利用可能になります。

要約(オリジナル)

Differentiable optimization is a powerful new paradigm capable of reconciling model-based and learning-based approaches in robotics. However, the majority of robotics optimization problems are non-convex and current differentiable optimization techniques are therefore prone to convergence to local minima. When this occurs, the gradients provided by these existing solvers can be wildly inaccurate and will ultimately corrupt the training process. On the other hand, any non-convex robotics problems can be framed as polynomial optimization problems and, in turn, admit convex relaxations that can be used to recover a global solution via so-called certifiably correct methods. We present SDPRLayers, an approach that leverages these methods as well as state-of-the-art convex implicit differentiation techniques to provide certifiably correct gradients throughout the training process. We introduce this approach and showcase theoretical results that provide conditions under which correctness of the gradients is guaranteed. We demonstrate our approach on two simple-but-demonstrative simulated examples, which expose the potential pitfalls of existing, state-of-the-art, differentiable optimization methods. We apply our method in a real-world application: we train a deep neural network to detect image keypoints for robot localization in challenging lighting conditions. An open-source, PyTorch implementation of SDPRLayers will be made available upon paper acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google