SDPRLayers: Certifiable Backpropagation Through Polynomial Optimization Problems in Robotics

要約

ロボット工学コミュニティにおける最近の一連の技術は、証明可能な正しい方法として知られており、ロボット工学の問題を多項式最適化問題 (POP) として構成し、凸型の半定値計画法 (SDP) 緩和を適用して全体的な最適化を見つけたり、認定したりします。
同時に、微分可能な最適化により、最適化問題をエンドツーエンドの学習フレームワークに組み込むことができ、ロボット工学コミュニティで大きな注目を集めています。
この論文では、微分可能な最適化を使用する学習フレームワークのコンテキストで、偽の極小値への収束の悪影響を検討します。
我々は、凸緩和と陰的微分手法を組み合わせてこの問題に対処し、トレーニング プロセス全体を通して確実に正しい解と勾配を提供する SDPRLayers を提案します。
これらの勾配が正確であるための条件を概説し、勾配を計算するための効率的な手段を提供する理論的結果を提供します。
私たちのアプローチは、最初に 2 つの単純だが実証的なシミュレーション例に適用され、既存の最先端の微分可能な最適化手法における局所最適化への依存の潜在的な落とし穴を明らかにします。
次に、私たちの方法を現実世界のアプリケーションに適用します。ディープ ニューラル ネットワークをトレーニングして、困難な照明条件でロボットの位置を特定するための画像キーポイントを検出します。
私たちはオープンソースの SDPRLayers の PyTorch 実装を提供しています。

要約(オリジナル)

A recent set of techniques in the robotics community, known as certifiably correct methods, frames robotics problems as polynomial optimization problems (POPs) and applies convex, semidefinite programming (SDP) relaxations to either find or certify their global optima. In parallel, differentiable optimization allows optimization problems to be embedded into end-to-end learning frameworks and has received considerable attention in the robotics community. In this paper, we consider the ill effect of convergence to spurious local minima in the context of learning frameworks that use differentiable optimization. We present SDPRLayers, an approach that seeks to address this issue by combining convex relaxations with implicit differentiation techniques to provide certifiably correct solutions and gradients throughout the training process. We provide theoretical results that outline conditions for the correctness of these gradients and provide efficient means for their computation. Our approach is first applied to two simple-but-demonstrative simulated examples, which expose the potential pitfalls of reliance on local optimization in existing, state-of-the-art, differentiable optimization methods. We then apply our method in a real-world application: we train a deep neural network to detect image keypoints for robot localization in challenging lighting conditions. We provide our open-source, PyTorch implementation of SDPRLayers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google