A Theoretical Framework for Data Efficient Multi-Source Transfer Learning Based on Cramér-Rao Bound

要約

マルチソース転送学習は、複数のソースタスクを活用することにより、実際の監視された学習シナリオにおけるデータ不足に対する効果的なソリューションを提供します。
この分野では、既存の作業は通常、トレーニング中のソースから利用可能なすべてのサンプルを使用します。これにより、トレーニング効率が制約され、最適ではない結果が生じる可能性があります。
これに対処するために、ターゲットモデルを共同でトレーニングするために各ソースタスクから必要なソースサンプルの最適な量は何ですか？
具体的には、クロスエントロピー損失と整列する一般化エラー測定を導入し、各ソースタスクの最適な転送量を決定するためにcram \ ‘er-raoに基づいて最小化します。
さらに、深いマルチソース転送学習モデルをトレーニングするための理論的結果を実装するために、アーキテクチャに依存しないおよびデータ効率の高いアルゴリズムOTQMを開発します。
多様なアーキテクチャと2つの実際のベンチマークデータセットに関する実験的研究は、提案されたアルゴリズムが精度とデータ効率の両方で最先端のアプローチを大幅に上回ることを示しています。
コードと補足資料は、https：//anonymous.4open.science/r/materialsで入手できます。

要約(オリジナル)

Multi-source transfer learning provides an effective solution to data scarcity in real-world supervised learning scenarios by leveraging multiple source tasks. In this field, existing works typically use all available samples from sources in training, which constrains their training efficiency and may lead to suboptimal results. To address this, we propose a theoretical framework that answers the question: what is the optimal quantity of source samples needed from each source task to jointly train the target model? Specifically, we introduce a generalization error measure that aligns with cross-entropy loss, and minimize it based on the Cram\’er-Rao Bound to determine the optimal transfer quantity for each source task. Additionally, we develop an architecture-agnostic and data-efficient algorithm OTQMS to implement our theoretical results for training deep multi-source transfer learning models. Experimental studies on diverse architectures and two real-world benchmark datasets show that our proposed algorithm significantly outperforms state-of-the-art approaches in both accuracy and data efficiency. The code and supplementary materials are available in https://anonymous.4open.science/r/Materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google