Big Learning: A Universal Machine Learning Paradigm?

要約

ビッグ/ファウンデーション モデルに基づく最近のブレークスルーは、AI の漠然とした道筋、つまり \emph{ビッグ データ、ビッグ/ファウンデーション モデル、ビッグ ラーニング、$\cdots$} を明らかにしています。
その道に続いて、ここでは、新しく導入された大きな学習について詳しく説明します。
具体的には、ビッグ ラーニングは、大規模な \emph{完全/不完全} トレーニング データに固有の情報/タスクを余すところなく活用します。これは、多くの/すべての結合/条件付き/限界データ分布を同時にモデル化することを学習することによって (したがって、ビッグ ラーニングと呼ばれます)、1 つのユニバーサルを使用します。
ファンデーションモデル。
ビッグ ラーニングとは、既存の基盤モデルが暗黙のうちに行っていることです。
したがって、私たちの大きな学習は、柔軟な設計と基盤モデルの改善のための高レベルのガイダンスを提供します。
さらに、ビッグ ラーニング ($i$) には、完全な/不完全なトレーニング データと、信頼できるデータ タスクをカスタマイズするための優れた柔軟性が備わっています。
($ii$) トレーニング後にすべての結合/条件付き/限界データ機能を提供する可能性があります。
($iii$) モデルの一般化が改善され、トレーニングとテストのギャップが大幅に減少します。
($iv$) 潜在的に従来の機械学習パラダイムを統合し、それらの柔軟な連携を可能にし、普遍的な学習パラダイムとして明らかにします。
予備実験により、提示されたビッグラーニングの有効性が検証されました。

要約(オリジナル)

Recent breakthroughs based on big/foundation models reveal a vague avenue for AI, that is, \emph{big data, big/foundation models, big learning, $\cdots$}. Following that avenue, here we elaborate on our newly introduced big learning. Specifically, big learning exhaustively exploits the information/tasks inherent in its large-scale \emph{complete/incomplete} training data, by learning to simultaneously model many/all joint/conditional/marginal data distributions (thus named big learning) with one universal foundation model. We reveal that big learning is what existing foundation models are implicitly doing; accordingly, our big learning provides high-level guidance for flexible design and improvements of foundation models. Besides, big learning ($i$) is equipped with great flexibilities for complete/incomplete training data and for customizing trustworthy data tasks; ($ii$) potentially delivers all joint/conditional/marginal data capabilities after training; ($iii$) significantly reduces the training-test gap with improved model generalization; and ($iv$) potentially unifies conventional machine learning paradigms and enables their flexible cooperations, manifested as a universal learning paradigm. Preliminary experiments verified the effectiveness of the presented big learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google