Using linear initialisation to improve speed of convergence and fully-trained error in Autoencoders

要約

適切な重みの初期化は、人工ニューラル ネットワークのトレーニングを成功させるための重要なステップです。
時間の経過とともに、このプロセスに対して多くの改善が提案されてきました。
この論文では、Straddled Matrix Initialiser と呼ばれる新しい重み初期化手法を紹介します。
この初期化手法は、データ内の主要な地球規模の関係は線形であり、複雑な非線形性を必要とする効果は小さいだけであるという仮定によって動機付けられています。
跨ぎ行列と ReLU 活性化関数を組み合わせると、ニューラル ネットワークが事実上の線形モデルとして初期化されます。仮定を考慮すると、これが最適化のより良い開始点となるはずです。
これをテストするには、Straddled Matrix とその他 7 つの最先端の重み初期化手法を使用して 3 つのデータセットでオートエンコーダーをトレーニングします。
私たちのすべての実験において、Straddeled Matrix Initialiser は明らかに他のすべての方法よりも優れています。

要約(オリジナル)

Good weight initialisation is an important step in successful training of Artificial Neural Networks. Over time a number of improvements have been proposed to this process. In this paper we introduce a novel weight initialisation technique called the Straddled Matrix Initialiser. This initialisation technique is motivated by our assumption that major, global-scale relationships in data are linear with only smaller effects requiring complex non-linearities. Combination of Straddled Matrix and ReLU activation function initialises a Neural Network as a de facto linear model, which we postulate should be a better starting point for optimisation given our assumptions. We test this by training autoencoders on three datasets using Straddled Matrix and seven other state-of-the-art weight initialisation techniques. In all our experiments the Straddeled Matrix Initialiser clearly outperforms all other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google