Big Learning: A Universal Machine Learning Paradigm?

要約

ビッグ/ファウンデーション モデルに基づく最近のブレイクスルーは、AI のあいまいな道、つまり \emph{入札データ、ビッグ/ファウンデーション モデル、ビッグ ラーニング、$\cdots$} を明らかにしています。
その道に続いて、ここでは、新しく導入された大きな学習について詳しく説明します。
具体的には、ビッグ ラーニングは、大規模な \emph{完全/不完全} トレーニング データに固有の情報/タスクを余すところなく活用します。
1 つのユニバーサル ファンデーション モデル。
ビッグ ラーニングとは、既存の基盤モデルが暗黙のうちに行っていることです。
したがって、私たちの大きな学習は、柔軟な設計と基盤モデルの改善のための高レベルのガイダンスを提供します。
さらに、ビッグ ラーニング ($i$) には、完全な/不完全なトレーニング データと、信頼できるデータ タスクをカスタマイズするための優れた柔軟性が備わっています。
($ii$) トレーニング後にすべての結合/条件付き/限界データ機能を提供する可能性があります。
($iii$) モデルの一般化が改善され、トレーニングとテストのギャップが大幅に減少します。
($iv$) 従来の機械学習パラダイムを潜在的に統合し、それらの柔軟な連携を可能にし、普遍的な学習パラダイムを明らかにします。
予備実験により、提示されたビッグラーニングの有効性が検証されました。

要約(オリジナル)

Recent breakthroughs based on big/foundation models reveal a vague avenue for AI, that is, \emph{bid data, big/foundation models, big learning, $\cdots$}. Following that avenue, here we elaborate on our newly introduced big learning. Specifically, big learning exhaustively exploits the information/tasks inherent in its large-scale \emph{complete/incomplete} training data, by learning to simultaneously model many-to-all joint/conditional/marginal data distributions (thus named big learning) with one universal foundation model. We reveal that big learning is what existing foundation models are implicitly doing; accordingly, our big learning provides high-level guidance for flexible design and improvements of foundation models. Besides, big learning ($i$) is equipped with great flexibilities for complete/incomplete training data and for customizing trustworthy data tasks; ($ii$) potentially delivers all joint/conditional/marginal data capabilities after training; ($iii$) significantly reduces the training-test gap with improved model generalization; and ($iv$) potentially unifies conventional machine learning paradigms and enables their flexible cooperations, manifesting a universal learning paradigm. Preliminary experiments verified the effectiveness of the presented big learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google