Efficient Task Grouping Through Samplewise Optimisation Landscape Analysis

要約

マルチタスク学習 (MTL) や勾配ベースのメタ学習などの共有トレーニング アプローチは、さまざまな機械学習アプリケーションで広く使用されていますが、多くの場合、特定のタスクでパフォーマンスの低下につながる負の伝達の問題が発生します。
事前に選択されたタスク コホートに対してこの問題を軽減するためにいくつかの最適化手法が開発されていますが、共同学習に最適なタスクの組み合わせ (タスク グループ化と呼ばれる) を特定することは、依然として研究が不足しており、タスクの組み合わせが急激に増加し、大規模なトレーニングが必要であるため、計算が困難です。
そして評価サイクル。
この文書では、既存の手法の膨大な計算要求を軽減するために設計された効率的なタスク グループ化フレームワークを紹介します。
提案されたフレームワークは、サンプルごとの最適化ランドスケープ分析を通じてペアごとのタスクの類似性を推論し、既存の方法でタスクの類似性を推論するために必要な共有モデルのトレーニングの必要性を排除します。
タスクの類似性が得られると、グラフベースのクラスタリング アルゴリズムを使用して最適に近いタスク グループを特定し、元の NP 困難な問題に対する近似的でありながら効率的かつ効果的な解決策を提供します。
8 つの異なるデータセットに対して実施された実証評価により、提案されたフレームワークの有効性が強調され、以前の最先端の方法と比較して 5 倍の速度向上が明らかになりました。
さらに、このフレームワークは一貫して同等のパフォーマンスを示しており、タスクのグループ化における顕著な効率と有効性が確認されています。

要約(オリジナル)

Shared training approaches, such as multi-task learning (MTL) and gradient-based meta-learning, are widely used in various machine learning applications, but they often suffer from negative transfer, leading to performance degradation in specific tasks. While several optimisation techniques have been developed to mitigate this issue for pre-selected task cohorts, identifying optimal task combinations for joint learning – known as task grouping – remains underexplored and computationally challenging due to the exponential growth in task combinations and the need for extensive training and evaluation cycles. This paper introduces an efficient task grouping framework designed to reduce these overwhelming computational demands of the existing methods. The proposed framework infers pairwise task similarities through a sample-wise optimisation landscape analysis, eliminating the need for the shared model training required to infer task similarities in existing methods. With task similarities acquired, a graph-based clustering algorithm is employed to pinpoint near-optimal task groups, providing an approximate yet efficient and effective solution to the originally NP-hard problem. Empirical assessments conducted on 8 different datasets highlight the effectiveness of the proposed framework, revealing a five-fold speed enhancement compared to previous state-of-the-art methods. Moreover, the framework consistently demonstrates comparable performance, confirming its remarkable efficiency and effectiveness in task grouping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google