Solving Large-scale Spatial Problems with Convolutional Neural Networks

要約

過去 10 年間、ディープ ラーニングの研究は、ますます強力なハードウェアによって加速され、モデルの複雑さと取り込まれるデータ量の急速な増加を促進しました。
これは持続不可能になりつつあるため、効率を再度重視する必要があります。
この論文では、大規模な空間問題の学習効率を向上させるために転移学習を採用します。
私たちは、畳み込みニューラル ネットワーク (CNN) が小さな信号ウィンドウでトレーニングできる一方で、パフォーマンスをほとんどまたはまったく低下させることなく任意の大きな信号で評価できることを提案し、結果として生じる汎化誤差に理論的な限界を提供します。
私たちの証明は、転移学習では十分に活用されていない CNN のシフト等分散性を利用しています。
理論的な結果は、モバイル インフラストラクチャ オン デマンド (MID) のコンテキストで実験的にサポートされています。
提案されたアプローチは、この研究以前には計算的に困難であった、数百のエージェントによる大規模な MID に取り組むことができます。

要約(オリジナル)

Over the past decade, deep learning research has been accelerated by increasingly powerful hardware, which facilitated rapid growth in the model complexity and the amount of data ingested. This is becoming unsustainable and therefore refocusing on efficiency is necessary. In this paper, we employ transfer learning to improve training efficiency for large-scale spatial problems. We propose that a convolutional neural network (CNN) can be trained on small windows of signals, but evaluated on arbitrarily large signals with little to no performance degradation, and provide a theoretical bound on the resulting generalization error. Our proof leverages shift-equivariance of CNNs, a property that is underexploited in transfer learning. The theoretical results are experimentally supported in the context of mobile infrastructure on demand (MID). The proposed approach is able to tackle MID at large scales with hundreds of agents, which was computationally intractable prior to this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google