Addressing Discontinuous Root-Finding for Subsequent Differentiability in Machine Learning, Inverse Problems, and Control

要約

数学的定式化に本質的な不連続性を持つ物理プロセスが数多くあります。
この論文は、2 つの剛体または変形可能な物体間の衝突という特定のケースと、その不連続性の本質的な性質によって動機づけられています。
衝突に対するインパルス応答は不連続であり、衝突が発生していない場合には応答が存在しないため、機械学習、逆問題、制御で一般的な、微分可能性を必要とする数値的アプローチが困難になります。
衝突と非衝突を分ける障壁に近づくと、パラメータに関する衝突時間の導関数が無限大になることを理論的および数値的に証明し、リフティングを使用して解空間を複雑化して、障壁の反対側の解が直接関係するようにします。
正確な値として取得できます。
続いて、無制限導関数によってもたらされる障壁を緩和し、標準的な数値アプローチの使用を容易にするスムーズで信頼性の高い方法で前後にトンネルできるようにします。
さらに、標準的なアプローチは、問題の数学的性質の理解が不足していることが主な原因で、多くの点で失敗することを示します（たとえば、典型的な逆伝播では多くの微分規則が利用されますが、ロピタルの法則は無視されます）。

要約(オリジナル)

There are many physical processes that have inherent discontinuities in their mathematical formulations. This paper is motivated by the specific case of collisions between two rigid or deformable bodies and the intrinsic nature of that discontinuity. The impulse response to a collision is discontinuous with the lack of any response when no collision occurs, which causes difficulties for numerical approaches that require differentiability which are typical in machine learning, inverse problems, and control. We theoretically and numerically demonstrate that the derivative of the collision time with respect to the parameters becomes infinite as one approaches the barrier separating colliding from not colliding, and use lifting to complexify the solution space so that solutions on the other side of the barrier are directly attainable as precise values. Subsequently, we mollify the barrier posed by the unbounded derivatives, so that one can tunnel back and forth in a smooth and reliable fashion facilitating the use of standard numerical approaches. Moreover, we illustrate that standard approaches fail in numerous ways mostly due to a lack of understanding of the mathematical nature of the problem (e.g. typical backpropagation utilizes many rules of differentiation, but ignores L’Hopital’s rule).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google