Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection

要約

さまざまなディストリビュータからの視覚的指示データセットはさまざまな時期にリリースされ、タスクの構成 (スキルなど) や参照ソースに応じて、意味的に冗長なテキストと画像のペアが多数含まれていることがよくあります。
この冗長性により、生涯適応可能なマルチモーダル大規模言語モデルの効率的な展開が大幅に制限され、既存のスキルを磨き、時間の経過とともに新しい能力を獲得する能力が妨げられます。
これに対処するために、データ選択を介して生涯命令チューニング (LiIT) の問題を再構成します。モデルは、モデル内で取得された知識の現在の状態に基づいて、以前のデータセットと新しいデータセットから学習する有益なサンプルを自動的に選択します。
静的重要度の尺度を使用して最適なデータ サブセットを選択することは、分布が進化するマルチタスク データセットに対しては効果的でないことが多いという経験的分析に基づいて、動的にデータを選択する新しい多方向で適応的なデータ選択アプローチである Adapt-$\infty$ を提案します。
LiIT 中のサンプルの効率と有効性のバランスを保ちます。
勾配ベースのサンプル ベクトルをグループ化することにより、疑似スキル クラスターを構築します。
次に、新しく提案されたスコアリング関数である Image Grounding スコアを含む、セレクター専門家のプールから各スキル クラスターに対して最もパフォーマンスの高いデータ セレクターを選択します。
このデータ セレクターは、トレーニング用に各スキル クラスターから最も重要なサンプルのサブセットをサンプリングします。
LiIT 中にデータセット プールのサイズが継続的に増加し、過剰な計算が発生することを防ぐために、クラスターごとの永続的なデータ プルーニング戦略をさらに導入し、意味的に最も冗長なサンプルを各クラスターから削除し、計算要件を管理しやすい状態に保ちます。
Adapt-$\infty$ によって選択されたサンプルを使用したトレーニングは、特にまれなタスクの場合に壊滅的な忘却を軽減し、元のデータセットの一部のみを使用して連続体全体での順方向転送を促進します。

要約(オリジナル)

Visual instruction datasets from various distributors are released at different times and often contain a significant number of semantically redundant text-image pairs, depending on their task compositions (i.e., skills) or reference sources. This redundancy greatly limits the efficient deployment of lifelong adaptable multimodal large language models, hindering their ability to refine existing skills and acquire new competencies over time. To address this, we reframe the problem of Lifelong Instruction Tuning (LiIT) via data selection, where the model automatically selects beneficial samples to learn from earlier and new datasets based on the current state of acquired knowledge in the model. Based on empirical analyses that show that selecting the best data subset using a static importance measure is often ineffective for multi-task datasets with evolving distributions, we propose Adapt-$\infty$, a new multi-way and adaptive data selection approach that dynamically balances sample efficiency and effectiveness during LiIT. We construct pseudo-skill clusters by grouping gradient-based sample vectors. Next, we select the best-performing data selector for each skill cluster from a pool of selector experts, including our newly proposed scoring function, Image Grounding score. This data selector samples a subset of the most important samples from each skill cluster for training. To prevent the continuous increase in the size of the dataset pool during LiIT, which would result in excessive computation, we further introduce a cluster-wise permanent data pruning strategy to remove the most semantically redundant samples from each cluster, keeping computational requirements manageable. Training with samples selected by Adapt-$\infty$ alleviates catastrophic forgetting, especially for rare tasks, and promotes forward transfer across the continuum using only a fraction of the original datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google