A Survey on Dynamic Neural Networks: from Computer Vision to Multi-modal Sensor Fusion

要約

モデル圧縮は、組み込みデバイス上に大規模な Computer Vision モデルを展開する場合に不可欠です。
しかし、静的最適化手法 (例: 枝刈り、量子化など) は、入力が異なれば複雑さも異なり、したがって必要な計算量も異なるという事実を無視しています。
ダイナミック ニューラル ネットワークを使用すると、特定の入力に対する計算の数を条件付けることができます。
このテーマに関する現在の文献は非​​常に広範囲にわたり、断片的です。
私たちは、コンピューター ビジョンの文脈における既存のダイナミック ニューラル ネットワークの研究を総合し、統合する包括的な調査を紹介します。
さらに、ネットワークのどのコンポーネントが適応的であるか (出力、計算グラフ、入力) に基づいた論理分類法を提供します。
さらに、ダイナミック ニューラル ネットワークは、センサー フュージョンのコンテキストにおいて、より優れた適応性、ノイズ低減、情報の優先順位付けを実現するために特に有益であると主張します。
この方向での予備的な作業を紹介します。

要約(オリジナル)

Model compression is essential in the deployment of large Computer Vision models on embedded devices. However, static optimization techniques (e.g. pruning, quantization, etc.) neglect the fact that different inputs have different complexities, thus requiring different amount of computations. Dynamic Neural Networks allow to condition the number of computations to the specific input. The current literature on the topic is very extensive and fragmented. We present a comprehensive survey that synthesizes and unifies existing Dynamic Neural Networks research in the context of Computer Vision. Additionally, we provide a logical taxonomy based on which component of the network is adaptive: the output, the computation graph or the input. Furthermore, we argue that Dynamic Neural Networks are particularly beneficial in the context of Sensor Fusion for better adaptivity, noise reduction and information prioritization. We present preliminary works in this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google