Is 3D Convolution with 5D Tensors Really Necessary for Video Analysis?

要約

この論文では、包括的な研究を紹介し、4D および/または 3D テンソルのみで 2D および/または 1D 畳み込みを使用して 3D 畳み込みブロックを実装するためのいくつかの新しい手法を提案します。
私たちの動機は、5D テンソルを使用した 3D 畳み込みは計算コストが非常に高く、ロボットなどのリアルタイム アプリケーションで使用される一部のエッジ デバイスではサポートされない可能性があるためです。
既存のアプローチは、3D カーネルを空間ドメインと時間ドメインに分割することでこれを軽減しますが、実装では依然として 5D テンソルによる 3D 畳み込みを使用します。
この問題は、適切な 4D/3D テンソル再形成と、空間的および時間的分割のための新しい組み合わせ手法を導入することで解決します。
提案された実装方法は、効率と精度の両方の点で大幅な改善を示しています。
実験結果は、提案された時空間処理構造が、パラメータが少ない 4D テンソルのみを使用した速度と精度の点で元のモデルよりも優れていることを確認します。

要約(オリジナル)

In this paper, we present a comprehensive study and propose several novel techniques for implementing 3D convolutional blocks using 2D and/or 1D convolutions with only 4D and/or 3D tensors. Our motivation is that 3D convolutions with 5D tensors are computationally very expensive and they may not be supported by some of the edge devices used in real-time applications such as robots. The existing approaches mitigate this by splitting the 3D kernels into spatial and temporal domains, but they still use 3D convolutions with 5D tensors in their implementations. We resolve this issue by introducing some appropriate 4D/3D tensor reshaping as well as new combination techniques for spatial and temporal splits. The proposed implementation methods show significant improvement both in terms of efficiency and accuracy. The experimental results confirm that the proposed spatio-temporal processing structure outperforms the original model in terms of speed and accuracy using only 4D tensors with fewer parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google