Learning Universal Predictors

要約

メタ学習は、限られたデータから新しいタスクを迅速に学習するようにニューラル ネットワークをトレーニングするための強力なアプローチとして登場しました。
さまざまなタスクに幅広く触れることで、汎用性の高い表現が可能になり、一般的な問題解決が可能になります。
しかし、メタ学習の限界は何でしょうか?
この研究では、メタ学習を限界まで活用することで、最も強力な万能予測子であるソロモノ​​フ帰納法 (SI) をニューラル ネットワークに償却する可能性を探ります。
当社では、ユニバーサル チューリング マシン (UTM) を使用して、ネットワークを幅広いパターンにさらすために使用されるトレーニング データを生成します。
UTM データ生成プロセスとメタトレーニング プロトコルの理論分析を提供します。
私たちは、さまざまな複雑さと普遍性のニューラル アーキテクチャ (LSTM、トランスフォーマーなど) とアルゴリズム データ ジェネレーターを使用した包括的な実験を実施します。
私たちの結果は、UTM データがメタ学習にとって貴重なリソースであり、普遍的な予測戦略を学習できるニューラル ネットワークのトレーニングに使用できることを示唆しています。

要約(オリジナル)

Meta-learning has emerged as a powerful approach to train neural networks to learn new tasks quickly from limited data. Broad exposure to different tasks leads to versatile representations enabling general problem solving. But, what are the limits of meta-learning? In this work, we explore the potential of amortizing the most powerful universal predictor, namely Solomonoff Induction (SI), into neural networks via leveraging meta-learning to its limits. We use Universal Turing Machines (UTMs) to generate training data used to expose networks to a broad range of patterns. We provide theoretical analysis of the UTM data generation processes and meta-training protocols. We conduct comprehensive experiments with neural architectures (e.g. LSTMs, Transformers) and algorithmic data generators of varying complexity and universality. Our results suggest that UTM data is a valuable resource for meta-learning, and that it can be used to train neural networks capable of learning universal prediction strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google