Sauron U-Net: Simple automated redundancy elimination in medical image segmentation via filter pruning

要約

自動的に調整されたレイヤー固有のしきい値を使用して対応するフィルターを破棄することにより、冗長な機能マップを排除するフィルター プルーニング方法である Sauron を紹介します。
さらに、Sauron は、さまざまなメトリックで示すように、特徴マップ クラスターの形成を促進する正則化項を最小化します。
ほとんどのフィルター プルーニング手法とは対照的に、Sauron は単一フェーズであり、典型的なニューラル ネットワークの最適化と同様に、必要なハイパーパラメーターと設計上の決定が少なくて済みます。
さらに、他のクラスターベースのアプローチとは異なり、この方法ではクラスターの数を事前に選択する必要がありません。これは、決定するのが簡単ではなく、レイヤーによって異なります。
3 つの医用画像セグメンテーション タスクで、Sauron と 3 つの最先端のフィルター プルーニング手法を評価しました。
これは、フィルター プルーニングがほとんど注目されていない領域であり、プライバシーを考慮してクラウド サービスを使用できない医療グレードのコンピューターの効率的なモデルを構築するのに役立ちます。
Sauron は、競合する剪定方法よりも高いパフォーマンスと剪定率を持つモデルを実現しました。
さらに、Sauron はトレーニング中にフィルターを削除するため、時間の経過とともに最適化が加速されました。
最後に、Sauron によって刈り込まれたモデルの特徴マップが高度に解釈可能であることを示します。
Sauron のコードは、https://github.com/jmlipman/SauronUNet で公開されています。

要約(オリジナル)

We present Sauron, a filter pruning method that eliminates redundant feature maps by discarding the corresponding filters with automatically-adjusted layer-specific thresholds. Furthermore, Sauron minimizes a regularization term that, as we show with various metrics, promotes the formation of feature maps clusters. In contrast to most filter pruning methods, Sauron is single-phase, similarly to typical neural network optimization, requiring fewer hyperparameters and design decisions. Additionally, unlike other cluster-based approaches, our method does not require pre-selecting the number of clusters, which is non-trivial to determine and varies across layers. We evaluated Sauron and three state-of-the-art filter pruning methods on three medical image segmentation tasks. This is an area where filter pruning has received little attention and where it can help building efficient models for medical grade computers that cannot use cloud services due to privacy considerations. Sauron achieved models with higher performance and pruning rate than the competing pruning methods. Additionally, since Sauron removes filters during training, its optimization accelerated over time. Finally, we show that the feature maps of a Sauron-pruned model were highly interpretable. The Sauron code is publicly available at https://github.com/jmlipman/SauronUNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google