Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D

要約

畳み込みニューラルネットワーク（CNN）の利用は、効率的かつ効果的な機械学習フレームワークをもたらす様々な望ましいモデル特性により、ディープラーニングにおいて広く普及している。しかし、性能の良いCNNアーキテクチャは、入力長、解像度、次元数などの考慮事項を取り入れるために、特定のタスクに合わせて調整する必要があります。本研究では、連続畳み込みニューラルネットワーク（Continuous Convolutional Neural Network: CCNN）を用いて、問題に特化したCNNアーキテクチャの必要性を克服する。CNNアーキテクチャは、連続畳み込みカーネルを備え、任意の解像度、次元、長さのデータに対するタスクに構造変更なしに使用することが可能な単一のCNNアーキテクチャである。連続畳み込みカーネルは各層で長距離依存性をモデル化し、現在のCNNアーキテクチャで必要とされるダウンサンプリング層やタスク依存の深さの必要性を排除することができる。同じCCNNをシーケンシャルデータ(1$$mathrm{D}$)とビジュアルデータ(2$$mathrm{D}$)の幅広いタスクセットに適用して、我々のアプローチの一般性を示す。我々のCCNNは、検討した全てのタスクにおいて、現在の最先端技術を凌駕する性能を示し、しばしば、競争的な性能を発揮する。

要約(オリジナル)

The use of Convolutional Neural Networks (CNNs) is widespread in Deep Learning due to a range of desirable model properties which result in an efficient and effective machine learning framework. However, performant CNN architectures must be tailored to specific tasks in order to incorporate considerations such as the input length, resolution, and dimentionality. In this work, we overcome the need for problem-specific CNN architectures with our Continuous Convolutional Neural Network (CCNN): a single CNN architecture equipped with continuous convolutional kernels that can be used for tasks on data of arbitrary resolution, dimensionality and length without structural changes. Continuous convolutional kernels model long range dependencies at every layer, and remove the need for downsampling layers and task-dependent depths needed in current CNN architectures. We show the generality of our approach by applying the same CCNN to a wide set of tasks on sequential (1$\mathrm{D}$) and visual data (2$\mathrm{D}$). Our CCNN performs competitively and often outperforms the current state-of-the-art across all tasks considered.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL