Big Learning: A Universal Machine Learning Paradigm?

要約

ビッグ/ファウンデーションモデルに基づく最近のブレークスルーは、人工知能、つまり、入札データ、ビッグ/ファウンデーションモデル、ビッグラーニング、$ \cdots$の漠然とした道を明らかにしています。
その道に続いて、ここでは新しく導入された大きな学習について詳しく説明します。
具体的には、ビッグラーニングは、大規模な完全/不完全データに固有の利用可能な情報を包括的に活用し、1つのユニバーサルファンデーションモデルを使用して多対全のジョイント/条件付き/マージナルデータ分布をモデル化することを同時に学習します（したがってビッグラーニングと呼ばれます）。
大きな学習は、既存の基礎モデルが暗黙的に行っていることであることを明らかにします。
したがって、私たちの大きな学習は、基盤モデルの柔軟な設計と改善のための高レベルのガイダンスを提供し、インターネット上での真の自己学習を加速します。
さらに、ビッグラーニング（$ i $）には、トレーニングデータとトレーニングタスクのカスタマイズの両方に優れた柔軟性が備わっています。
（$ ii $）は、トレーニング後にすべてのジョイント/条件付き/マージナルデータ機能を提供する可能性があります。
（$ iii $）モデルの一般化が改善され、トレーニングとテストのギャップが大幅に減少します。
（$ iv $）は、従来の機械学習パラダイムを統合します。
教師あり学習、教師なし学習、生成的学習などであり、それらの柔軟な協力を可能にし、普遍的な学習パラダイムを明示します。

要約(オリジナル)

Recent breakthroughs based on big/foundation models reveal a vague avenue for artificial intelligence, that is, bid data, big/foundation models, big learning, $\cdots$. Following that avenue, here we elaborate on the newly introduced big learning. Specifically, big learning comprehensively exploits the available information inherent in large-scale complete/incomplete data, by simultaneously learning to model many-to-all joint/conditional/marginal data distributions (thus named big learning) with one universal foundation model. We reveal that big learning is what existing foundation models are implicitly doing; accordingly, our big learning provides high-level guidance for flexible design and improvements of foundation models, accelerating the true self-learning on the Internet. Besides, big learning ($i$) is equipped with marvelous flexibility for both training data and training-task customization; ($ii$) potentially delivers all joint/conditional/marginal data capabilities after training; ($iii$) significantly reduces the training-test gap with improved model generalization; and ($iv$) unifies conventional machine learning paradigms e.g. supervised learning, unsupervised learning, generative learning, etc. and enables their flexible cooperation, manifesting a universal learning paradigm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google