‘How Big is Big Enough?’ Adjusting Model Size in Continual Gaussian Processes

要約

多くの機械学習手法では、モデルを作成するには、トレーニング前にモデルの容量を制御するパラメーター (DNN のニューロンの数や GP の誘導ポイントなど) を設定する必要があります。
容量を増やすと、データセットからすべての情報が取得されるまでパフォーマンスが向上します。
この時点を過ぎると、パフォーマンスが向上することなく、計算コストが増加し続けます。
これは、「どのくらいの大きさであれば十分なのか?」という疑問につながります。私たちは、継続学習におけるガウス過程 (単層ニューラル ネットワーク) についてこの問題を調査します。
ここでは、データが段階的に利用可能になるため、最終的なデータセットのサイズはトレーニング前には分からず、モデル サイズの設定にヒューリスティックを使用できなくなります。
ほぼ最適なパフォーマンスを維持しながらこれを自動的に調整するメソッドを提供し、このメソッドの単一のハイパーパラメーター設定が幅広いプロパティを持つデータセット全体で適切にパフォーマンスを発揮することを示します。

要約(オリジナル)

For many machine learning methods, creating a model requires setting a parameter that controls the model’s capacity before training, e.g.~number of neurons in DNNs, or inducing points in GPs. Increasing capacity improves performance until all the information from the dataset is captured. After this point, computational cost keeps increasing, without improved performance. This leads to the question “How big is big enough?” We investigate this problem for Gaussian processes (single-layer neural networks) in continual learning. Here, data becomes available incrementally, and the final dataset size will therefore not be known before training, preventing the use of heuristics for setting the model size. We provide a method that automatically adjusts this, while maintaining near-optimal performance, and show that a single hyperparameter setting for our method performs well across datasets with a wide range of properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google