Transferability of Convolutional Neural Networks in Stationary Learning Tasks

要約

ハードウェアとビッグデータ取得の最近の進歩により、深層学習技術の開発が加速しています。
長期間にわたり、モデルの複雑さが増すことで、さまざまなタスクのパフォーマンスが向上しました。
しかし、この傾向は持続不可能になりつつあり、代替の、計算量が軽い方法が必要とされています。
この論文では、大規模な空間問題に対する畳み込みニューラル ネットワーク (CNN) の効率的なトレーニングのための新しいフレームワークを紹介します。
これを達成するために、基礎となる信号が定常であるタスクの CNN の特性を調査します。
このような信号の小さなウィンドウでトレーニングされた CNN は、再トレーニングなしではるかに大きなウィンドウでほぼ同等のパフォーマンスを達成することを示します。
この主張は、パフォーマンス低下の限界を示す理論分析によって裏付けられています。
さらに、マルチターゲット追跡とモバイル インフラストラクチャ オンデマンドの 2 つのタスクについて徹底的な実験分析を実施します。
私たちの結果は、CNN が 10 人未満のエージェントでトレーニングを受けた後でも、何百人ものエージェントでも問題に対処できることを示しています。
したがって、CNN アーキテクチャは、以前は計算が困難だったスケールでこれらの問題に対する解決策を提供します。

要約(オリジナル)

Recent advances in hardware and big data acquisition have accelerated the development of deep learning techniques. For an extended period of time, increasing the model complexity has led to performance improvements for various tasks. However, this trend is becoming unsustainable and there is a need for alternative, computationally lighter methods. In this paper, we introduce a novel framework for efficient training of convolutional neural networks (CNNs) for large-scale spatial problems. To accomplish this we investigate the properties of CNNs for tasks where the underlying signals are stationary. We show that a CNN trained on small windows of such signals achieves a nearly performance on much larger windows without retraining. This claim is supported by our theoretical analysis, which provides a bound on the performance degradation. Additionally, we conduct thorough experimental analysis on two tasks: multi-target tracking and mobile infrastructure on demand. Our results show that the CNN is able to tackle problems with many hundreds of agents after being trained with fewer than ten. Thus, CNN architectures provide solutions to these problems at previously computationally intractable scales.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google