Measuring Fine-Grained Relatedness in Multitask Learning via Data Attribution

要約

タスクの関連性を測定し、否定的な転送を軽減することは、マルチタスク学習（MTL）における重要なオープンチャレンジのままです。
この作業は、モデル予測に対する個々のトレーニングデータポイントの影響を定量化するデータ属性を、タスク関連性を測定するためのMTL設定に拡張します。
マルチタスク影響力関数（MTIF）を提案します。これは、ハードパラメーター共有を備えたMTLモデルに影響力関数を適応させる方法です。
従来のタスク関連性測定と比較して、MTIFは、タスク全体レベルを超えて、微調整されたインスタンスレベルの関連性測定を提供します。
この微調整された関連性測定により、データ選択戦略はMTLでの負の転送を効果的に緩和することができます。
広範な実験を通じて、提案されたMTIFがデータサブセットでトレーニングされたモデルのパフォーマンスを効率的かつ正確に近似することを実証します。
さらに、MTIFによって有効になったデータ選択戦略は、MTLのモデルパフォーマンスを一貫して改善します。
私たちの作業は、データの帰属とMTLの間に新しいつながりを確立し、タスクの関連性を測定し、MTLモデルを強化するための効率的で微細に微調整されたソリューションを提供します。

要約(オリジナル)

Measuring task relatedness and mitigating negative transfer remain a critical open challenge in Multitask Learning (MTL). This work extends data attribution — which quantifies the influence of individual training data points on model predictions — to MTL setting for measuring task relatedness. We propose the MultiTask Influence Function (MTIF), a method that adapts influence functions to MTL models with hard or soft parameter sharing. Compared to conventional task relatedness measurements, MTIF provides a fine-grained, instance-level relatedness measure beyond the entire-task level. This fine-grained relatedness measure enables a data selection strategy to effectively mitigate negative transfer in MTL. Through extensive experiments, we demonstrate that the proposed MTIF efficiently and accurately approximates the performance of models trained on data subsets. Moreover, the data selection strategy enabled by MTIF consistently improves model performance in MTL. Our work establishes a novel connection between data attribution and MTL, offering an efficient and fine-grained solution for measuring task relatedness and enhancing MTL models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google