ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models

要約

Large Vision-Language Model (LVLM) は、さまざまなモダリティからの豊富な情報を統合することで世界を包括的に理解することができ、さまざまなマルチモーダルな下流タスクで大幅なパフォーマンスの向上を実現します。
ただし、LVLM の導入には、膨大な計算コストやエネルギー コスト、炭素消費量が原因で問題が発生することがよくあります。
このような問題により、従来の反復的なグローバル プルーニングを採用することが不可能になります。これは、スパース化のために大規模なモデル全体のヘッセ行列を計算するためコストがかかります。
あるいは、最近、いくつかの研究が、グローバル枝刈りの高価な計算を回避し、層内の重要性に応じてモデルの重みを効率的に圧縮する層ごとの枝刈りアプローチを提案しています。
ただし、これらの方法では、グローバルな視点が欠如しているため、最適ではないモデル圧縮が発生することがよくあります。
大規模モデル向けの最近の効率的な枝刈り方法におけるこの制限に対処するために、LVLM 向けの 2 段階の粗いから細かい重み枝刈りアプローチである Efficient Coarse-to-Fine Layer-Wise Pruning (ECoFLaP) を提案します。
まず、グローバル モデル勾配の 0 次近似に基づいて効率的に計算されるグローバル重要度スコアを利用して、さまざまなレイヤーまたはブロックのスパース率を決定します。
次に、マルチモーダル モデルは、グローバルに通知されたスパース率に基づいて、ローカルな層ごとの非構造化重み枝刈りを実行します。
さまざまなマルチモーダルおよびユニモーダルのモデルとデータセットにわたって提案された方法を検証し、高スパース性領域で一般的な枝刈り手法と比較して大幅なパフォーマンスの向上を実証します。

要約(オリジナル)

Large Vision-Language Models (LVLMs) can understand the world comprehensively by integrating rich information from different modalities, achieving remarkable performance improvements on various multimodal downstream tasks. However, deploying LVLMs is often problematic due to their massive computational/energy costs and carbon consumption. Such issues make it infeasible to adopt conventional iterative global pruning, which is costly due to computing the Hessian matrix of the entire large model for sparsification. Alternatively, several studies have recently proposed layer-wise pruning approaches to avoid the expensive computation of global pruning and efficiently compress model weights according to their importance within a layer. However, these methods often suffer from suboptimal model compression due to their lack of a global perspective. To address this limitation in recent efficient pruning methods for large models, we propose Efficient Coarse-to-Fine Layer-Wise Pruning (ECoFLaP), a two-stage coarse-to-fine weight pruning approach for LVLMs. We first determine the sparsity ratios of different layers or blocks by leveraging the global importance score, which is efficiently computed based on the zeroth-order approximation of the global model gradients. Then, the multimodal model performs local layer-wise unstructured weight pruning based on globally-informed sparsity ratios. We validate our proposed method across various multimodal and unimodal models and datasets, demonstrating significant performance improvements over prevalent pruning techniques in the high-sparsity regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google