AdapMTL: Adaptive Pruning Framework for Multitask Learning Model

要約

マルチメディアおよびマルチモーダル処理の領域では、画像、ビデオ、センサー データなどの多様なデータ ストリームを効率的に処理することが最も重要です。
この分野ではモデル圧縮とマルチタスク学習 (MTL) が重要であり、複数形式のメディアを同時に処理および解釈するというリソース集約型の需要に対処できる可能性を提供します。
ただし、マルチタスク モデルを効果的に圧縮するには、複数のタスクにわたるスパース性の割り当てと精度のパフォーマンスのバランスをとることが複雑であるため、大きな課題が生じます。
これらの課題に取り組むために、MTL モデル用の適応枝刈りフレームワークである AdapMTL を提案します。
AdapMTL は、共有バックボーンとタスク固有のヘッドに個別に割り当てられた複数の学習可能なソフトしきい値を活用して、プルーニングに対するさまざまなコンポーネントの感度の微妙な違いを捉えます。
トレーニング中に、ソフトしきい値と MTL モデルの重みを共同最適化し、各コンポーネントで適切なスパース性レベルを自動的に決定し、高いタスク精度と高い全体的なスパース性の両方を実現します。
さらに、各タスクの枝刈りに対する堅牢性に基づいて、タスク固有の損失の重要性を動的に調整する適応重み付けメカニズムが組み込まれています。
私たちは、さまざまなアーキテクチャを使用した一般的なマルチタスク データセット、つまり NYU-v2 と Tiny-Taskonomy での包括的な実験を通じて AdapMTL の有効性を実証し、最先端の枝刈り手法と比較して優れたパフォーマンスを示します。

要約(オリジナル)

In the domain of multimedia and multimodal processing, the efficient handling of diverse data streams such as images, video, and sensor data is paramount. Model compression and multitask learning (MTL) are crucial in this field, offering the potential to address the resource-intensive demands of processing and interpreting multiple forms of media simultaneously. However, effectively compressing a multitask model presents significant challenges due to the complexities of balancing sparsity allocation and accuracy performance across multiple tasks. To tackle these challenges, we propose AdapMTL, an adaptive pruning framework for MTL models. AdapMTL leverages multiple learnable soft thresholds independently assigned to the shared backbone and the task-specific heads to capture the nuances in different components’ sensitivity to pruning. During training, it co-optimizes the soft thresholds and MTL model weights to automatically determine the suitable sparsity level at each component to achieve both high task accuracy and high overall sparsity. It further incorporates an adaptive weighting mechanism that dynamically adjusts the importance of task-specific losses based on each task’s robustness to pruning. We demonstrate the effectiveness of AdapMTL through comprehensive experiments on popular multitask datasets, namely NYU-v2 and Tiny-Taskonomy, with different architectures, showcasing superior performance compared to state-of-the-art pruning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google