SMPConv: Self-moving Point Representations for Continuous Convolution

要約

タイトル：SMPConv：連続畳み込みのための自己移動ポイント表現

要約：

– 連続畳み込みは、不規則にサンプリングされたデータを扱い、長期依存関係をモデル化する能力があるため、最近注目を集めています。
– 大規模な畳み込みカーネルの使用による有望な実験的結果があるため、これによって、大きなカーネルを非常に効率的に構築できるため、連続畳み込みの発展を促しました。
– ニューラルネットワークを利用して、特に多層パーセプトロン（MLP）を利用することが、連続畳み込みを実装するために最も一般的なアプローチです。ただし、高い計算コスト、複雑なハイパーパラメータ調整、フィルターの記述能力の限界など、いくつかの欠点があります。
– この論文では、ニューラルネットワークを使用せずに、より計算効率的な方法で連続畳み込みを構築する代替手法を提案します。自己移動ポイント表現を提示し、重みパラメータが自由に移動し、補間スキームが連続関数を実装するために使用されます。
– 畳み込みカーネルの構築に適用すると、既存のフレームワークにドロップイン置換で改良された性能を示します。軽量な構造のため、大規模な設定（例：ImageNet）で連続畳み込みの効果を初めて明示し、先行研究に比べて改善を提示しています。
– コードはhttps://github.com/sangnekim/SMPConvで入手できます。

要約(オリジナル)

Continuous convolution has recently gained prominence due to its ability to handle irregularly sampled data and model long-term dependency. Also, the promising experimental results of using large convolutional kernels have catalyzed the development of continuous convolution since they can construct large kernels very efficiently. Leveraging neural networks, more specifically multilayer perceptrons (MLPs), is by far the most prevalent approach to implementing continuous convolution. However, there are a few drawbacks, such as high computational costs, complex hyperparameter tuning, and limited descriptive power of filters. This paper suggests an alternative approach to building a continuous convolution without neural networks, resulting in more computationally efficient and improved performance. We present self-moving point representations where weight parameters freely move, and interpolation schemes are used to implement continuous functions. When applied to construct convolutional kernels, the experimental results have shown improved performance with drop-in replacement in the existing frameworks. Due to its lightweight structure, we are first to demonstrate the effectiveness of continuous convolution in a large-scale setting, e.g., ImageNet, presenting the improvements over the prior arts. Our code is available on https://github.com/sangnekim/SMPConv

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI