Training neural network ensembles via trajectory sampling

要約

タイトル：Trajectory Samplingによるニューラルネットワークアンサンブルのトレーニング

要約：

– 機械学習において、ニューラルネットワークアンサンブル（NNE）に対する関心が高まっています。
– NNEは、単一の大きなモデルではなく、多様な小さなモデルから予測を集約することによって獲得されます。
– 本論文では、NNEを定義し、訓練する方法を紹介します。
– これは、確率的システムの稀な軌道の研究から技術を借用しています。
– 単純な時間離散的拡散ダイナミクスにおけるモデルパラメータの軌跡に基づいてNNEを定義し、適切なカウントフィールドをハイパーパラメータとして制御し、小さな時間積分ロスにバイアスをかけることでNNEを訓練します。
– この方法の実現可能性を検証するために、いくつかの単純な教師あり学習タスクで実験を行いました。
– 従来の勾配ベースの方法と比較して、軌跡サンプリングアプローチの潜在的な利点についても議論します。

要約(オリジナル)

In machine learning, there is renewed interest in neural network ensembles (NNEs), whereby predictions are obtained as an aggregate from a diverse set of smaller models, rather than from a single larger model. Here, we show how to define and train a NNE using techniques from the study of rare trajectories in stochastic systems. We define an NNE in terms of the trajectory of the model parameters under a simple, and discrete in time, diffusive dynamics, and train the NNE by biasing these trajectories towards a small time-integrated loss, as controlled by appropriate counting fields which act as hyperparameters. We demonstrate the viability of this technique on a range of simple supervised learning tasks. We discuss potential advantages of our trajectory sampling approach compared with more conventional gradient based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI