DepGraph: Towards Any Structural Pruning

要約

構造プルーニングは、ニューラル ネットワークから構造的にグループ化されたパラメーターを削除することで、モデルの高速化を可能にします。
ただし、パラメーターのグループ化パターンはモデルによって大きく異なり、手動で設計されたグループ化スキームに依存するアーキテクチャ固有のプルーナーを新しいアーキテクチャに一般化できません。
この作業では、CNN、RNN、GNN、トランスフォーマーなどの任意のアーキテクチャの一般的な構造プルーニングに取り組むために、非常に挑戦的でありながらほとんど調査されていないタスクである構造プルーニングを研究します。
この目標に対する最も顕著な障害は、構造的な結合にあります。これは、異なるレイヤーを同時にプルーニングすることを強制するだけでなく、削除されたすべてのパラメーターが一貫して重要ではないことを期待するため、プルーニング後の構造的な問題と大幅なパフォーマンスの低下を回避します。
この問題に対処するために、レイヤー間の依存関係を明示的にモデル化し、プルーニングのために結合されたパラメーターを包括的にグループ化する、一般的で{完全に自動化された}方法、\emph{Dependency Graph} (DepGraph) を提案します。
この作業では、ResNe(X)t、DenseNet、MobileNet、画像用の Vision Transformer、グラフ用の GAT、3D ポイント クラウド用の DGCNN、言語用の LSTM など、いくつかのアーキテクチャとタスクでメソッドを広く評価し、それを実証します。
単純なノルムベースの基準を使用しても、提案された方法は一貫して満足のいくパフォーマンスをもたらします。

要約(オリジナル)

Structural pruning enables model acceleration by removing structurally-grouped parameters from neural networks. However, the parameter-grouping patterns vary widely across different models, making architecture-specific pruners, which rely on manually-designed grouping schemes, non-generalizable to new architectures. In this work, we study a highly-challenging yet barely-explored task, any structural pruning, to tackle general structural pruning of arbitrary architecture like CNNs, RNNs, GNNs and Transformers. The most prominent obstacle towards this goal lies in the structural coupling, which not only forces different layers to be pruned simultaneously, but also expects all removed parameters to be consistently unimportant, thereby avoiding structural issues and significant performance degradation after pruning. To address this problem, we propose a general and {fully automatic} method, \emph{Dependency Graph} (DepGraph), to explicitly model the dependency between layers and comprehensively group coupled parameters for pruning. In this work, we extensively evaluate our method on several architectures and tasks, including ResNe(X)t, DenseNet, MobileNet and Vision transformer for images, GAT for graph, DGCNN for 3D point cloud, alongside LSTM for language, and demonstrate that, even with a simple norm-based criterion, the proposed method consistently yields gratifying performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google