Re-basin via implicit Sinkhorn differentiation

要約

モデルを解空間の機能的に等価な領域に置換するための新しいアルゴリズムが最近出現したことで、エラー サーフェスの複雑さと、モード接続性などのいくつかの有望な特性が明らかになりました。
ただし、適切な順列を見つけることは困難であり、現在の最適化手法は微分可能ではないため、勾配ベースの最適化に統合することが難しくなり、最適ではないソリューションになることがよくあります。
本稿では、与えられた目的により適した輸送計画を取得する能力を備えたシンクホーン再流域ネットワークを提案します。
現在の最先端技術とは異なり、私たちの方法は微分可能であるため、深層学習ドメイン内のあらゆるタスクに簡単に適応できます。
さらに、線形モード接続プロパティを利用して増分学習を実行できる新しいコスト関数を提案することにより、リベイスン法の利点を示します。
私たちの方法の利点は、最適な輸送の発見と線形モード接続の両方のいくつかの条件下で、文献からの同様のアプローチと比較されます。
リベイスンに基づく継続的な学習方法の有効性は、いくつかの一般的なベンチマーク データセットに対しても示され、文献の最先端の結果と競合する実験結果を提供します。

要約(オリジナル)

The recent emergence of new algorithms for permuting models into functionally equivalent regions of the solution space has shed some light on the complexity of error surfaces, and some promising properties like mode connectivity. However, finding the right permutation is challenging, and current optimization techniques are not differentiable, which makes it difficult to integrate into a gradient-based optimization, and often leads to sub-optimal solutions. In this paper, we propose a Sinkhorn re-basin network with the ability to obtain the transportation plan that better suits a given objective. Unlike the current state-of-art, our method is differentiable and, therefore, easy to adapt to any task within the deep learning domain. Furthermore, we show the advantage of our re-basin method by proposing a new cost function that allows performing incremental learning by exploiting the linear mode connectivity property. The benefit of our method is compared against similar approaches from the literature, under several conditions for both optimal transport finding and linear mode connectivity. The effectiveness of our continual learning method based on re-basin is also shown for several common benchmark datasets, providing experimental results that are competitive with state-of-art results from the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google