Who breaks early, looses: goal oriented training of deep neural networks based on port Hamiltonian dynamics

要約

タイトル：ポートハミルトン力学に基づく深層ニューラルネットワークの目標志向型トレーニング：早く伸ばせない者は負ける

要約：
– 深層ニューラルネットワークのパラメータに対するロスのエネルギー・ランドスケープが非常に構造化されているため、適切な性能を保証する局所最小値を発見するために洗練された最適化戦略を使用する必要がある。
– 非適切な局所最小値を克服することは重要な前提条件であり、しばしば達成するために運動量法が用いられるが、これにより探求と利用のバランスを取る必要が生じる。
– 本研究では、損失関数の事前定義された減少に基づく探索から利用へのイベントベースのコントロール機構を提案している。加えて、ポートハミルトンの解釈を強いボールに摩擦力を与えることによって適用し、目標を達成した際にブレーキ（または摩擦）をトリガーする。
– 提案手法を標準的な確率的勾配降下法と比較し、本手法が適用された場合に深層ニューラルネットワークのパフォーマンスが改善されることを実験的に証明する。

要約(オリジナル)

The highly structured energy landscape of the loss as a function of parameters for deep neural networks makes it necessary to use sophisticated optimization strategies in order to discover (local) minima that guarantee reasonable performance. Overcoming less suitable local minima is an important prerequisite and often momentum methods are employed to achieve this. As in other non local optimization procedures, this however creates the necessity to balance between exploration and exploitation. In this work, we suggest an event based control mechanism for switching from exploration to exploitation based on reaching a predefined reduction of the loss function. As we give the momentum method a port Hamiltonian interpretation, we apply the ‘heavy ball with friction’ interpretation and trigger breaking (or friction) when achieving certain goals. We benchmark our method against standard stochastic gradient descent and provide experimental evidence for improved performance of deep neural networks when our strategy is applied.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI