On Anytime Learning at Macroscale

要約

機械学習の多くの実用的なアプリケーションでは、データは大きなチャンクで時間をかけて順次到着します。
実務者は、いつでも最高のパフォーマンスを得るために、計算予算をどのように割り当てるかを決定する必要があります。
凸最適化のオンライン学習理論は、データが到着したらすぐに使用することが最善の戦略であることを示唆しています。
ただし、深い非線形ネットワークを使用する場合、特にこれらがデータの各チャンクに対して複数のパスを実行して全体的な分布を非 i.i.d. にする場合、これは最善の戦略ではない可能性があります。
各データ チャンクは、同じ基礎となる分布から抽出され、次の質問に経験的に答える最初の試みを行います。
学習者はどのアーキテクチャを採用する必要がありますか?
より多くのデータが観察されるにつれて、学習者は時間の経過とともに能力を高める必要がありますか?
従来のコンピューター ビジョン ベンチマークでトレーニングされた畳み込みニューラル ネットワークと、大規模な言語モデリング タスクでトレーニングされた大規模な変換モデルを使用して、この学習設定を調べます。
コードは \url{www.github.com/facebookresearch/ALMA} で入手できます。

要約(オリジナル)

In many practical applications of machine learning data arrives sequentially over time in large chunks. Practitioners have then to decide how to allocate their computational budget in order to obtain the best performance at any point in time. Online learning theory for convex optimization suggests that the best strategy is to use data as soon as it arrives. However, this might not be the best strategy when using deep non-linear networks, particularly when these perform multiple passes over each chunk of data rendering the overall distribution non i.i.d.. In this paper, we formalize this learning setting in the simplest scenario in which each data chunk is drawn from the same underlying distribution, and make a first attempt at empirically answering the following questions: How long should the learner wait before training on the newly arrived chunks? What architecture should the learner adopt? Should the learner increase capacity over time as more data is observed? We probe this learning setting using convolutional neural networks trained on classic computer vision benchmarks as well as a large transformer model trained on a large-scale language modeling task. Code is available at \url{www.github.com/facebookresearch/ALMA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google