Layer Pruning with Consensus: A Triple-Win Solution

要約

レイヤー プルーニングは、標準的な構造化プルーニングに代わる有望な代替手段を提供し、計算コスト、レイテンシ、メモリ フットプリントを効果的に削減します。
注目すべきレイヤー プルーニングのアプローチは、削除する重要でないレイヤーを検出することを目的としていますが、多くの場合、レイヤーの複雑な基礎となるプロパティを完全に把握できない可能性がある単一の基準に依存しています。
私たちは、複数の類似性メトリクスを、コンセンサス基準と呼ばれる、重要度の低い層の単一の表現的な尺度に結合する新しいアプローチを提案します。
当社の技術は、精度の低下が少なく、パフォーマンスが向上し、敵対的な攻撃に対する堅牢性が向上するという、三拍子揃ったソリューションを提供します。
最大 78.80% の FLOP 削減と、さまざまなベンチマークにわたって最先端の手法と同等のパフォーマンスを実現する当社のアプローチは、エネルギー消費と炭素排出量をそれぞれ最大 66.99% と最大 68.75% 削減します。
さらに、ショートカット学習を回避し、さまざまな敵対的な攻撃に対して堅牢性を最大 4 パーセント向上させます。
全体として、コンセンサス基準は、堅牢で効率的で環境に優しい枝刈りモデルを作成する上で有効であることを示しています。

要約(オリジナル)

Layer pruning offers a promising alternative to standard structured pruning, effectively reducing computational costs, latency, and memory footprint. While notable layer-pruning approaches aim to detect unimportant layers for removal, they often rely on single criteria that may not fully capture the complex, underlying properties of layers. We propose a novel approach that combines multiple similarity metrics into a single expressive measure of low-importance layers, called the Consensus criterion. Our technique delivers a triple-win solution: low accuracy drop, high-performance improvement, and increased robustness to adversarial attacks. With up to 78.80% FLOPs reduction and performance on par with state-of-the-art methods across different benchmarks, our approach reduces energy consumption and carbon emissions by up to 66.99% and 68.75%, respectively. Additionally, it avoids shortcut learning and improves robustness by up to 4 percentage points under various adversarial attacks. Overall, the Consensus criterion demonstrates its effectiveness in creating robust, efficient, and environmentally friendly pruned models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google