Training morphological neural networks with gradient descent: some theoretical insights

要約

形態学的ニューラル ネットワーク (レイヤー) は、完全な格子演算子の表現などの理論的側面、または画像処理パイプラインの開発において、数学的形態学の進歩を促進する強力なツールとなり得ます。
ただし、これらのアーキテクチャは、少なくとも勾配降下ベースの最適化アルゴリズムを使用する一般的な機械学習フレームワーク内では、数層以上の形態学的レイヤーを数えるとトレーニングが困難であることがわかります。
この論文では、ブーリガンド微分の非滑らかな最適化概念を考慮して、形態学的ネットワークに適用される微分ベースのアプローチと逆伝播の可能性と限界を調査します。
特に初期化と学習率に関する洞察と最初の理論的ガイドラインを提供します。

要約(オリジナル)

Morphological neural networks, or layers, can be a powerful tool to boost the progress in mathematical morphology, either on theoretical aspects such as the representation of complete lattice operators, or in the development of image processing pipelines. However, these architectures turn out to be difficult to train when they count more than a few morphological layers, at least within popular machine learning frameworks which use gradient descent based optimization algorithms. In this paper we investigate the potential and limitations of differentiation based approaches and back-propagation applied to morphological networks, in light of the non-smooth optimization concept of Bouligand derivative. We provide insights and first theoretical guidelines, in particular regarding initialization and learning rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google