要約
プーリング層は畳み込みニューラルネットワーク（CNN）の重要な構成要素であり、計算オーバーヘッドを減らし、畳み込み演算の受容域を拡大する。CNNの目標は、入力ボリュームに近いダウンサンプル・ボリュームを生成することであり、理想的には、計算効率とメモリ効率も向上させることである。この2つの要求を満たすことは、依然として課題である。このため、我々は適応的で指数関数的に重み付けされたプーリング手法であるAdaPoolを提案する。本手法は、Dice-Sorensen係数と指数関数的最大値の指数にそれぞれ基づく2組のプーリングカーネルの地域特異的な融合を学習する。AdaPoolは、画像やビデオの分類や物体検出を含む様々なタスクにおいて、細部の保存を向上させる。adaPoolの重要な特性は、その双方向性である。一般的なプーリング手法とは対照的に、学習された重みは活性化マップをアップサンプルするためにも用いることができる。我々はこの方法をAdaUnPoolと呼ぶ。我々は、画像とビデオの超解像とフレーム補間において、AdaUnPoolを評価する。ベンチマークとして、高画質、高フレームレートのビデオデータセットであるInter4Kを導入する。我々の実験では、AdaPoolはタスクやバックボーンによらず、わずかな計算とメモリのオーバーヘッドを追加するだけで、より良い結果を系統的に達成することが実証された。
要約(オリジナル)
Pooling layers are essential building blocks of convolutional neural networks (CNNs), to reduce computational overhead and increase the receptive fields of proceeding convolutional operations. Their goal is to produce downsampled volumes that closely resemble the input volume while, ideally, also being computationally and memory efficient. Meeting both these requirements remains a challenge. To this end, we propose an adaptive and exponentially weighted pooling method: adaPool. Our method learns a regional-specific fusion of two sets of pooling kernels that are based on the exponent of the Dice-Sorensen coefficient and the exponential maximum, respectively. AdaPool improves the preservation of detail on a range of tasks including image and video classification and object detection. A key property of adaPool is its bidirectional nature. In contrast to common pooling methods, the learned weights can also be used to upsample activation maps. We term this method adaUnPool. We evaluate adaUnPool on image and video super-resolution and frame interpolation. For benchmarking, we introduce Inter4K, a novel high-quality, high frame-rate video dataset. Our experiments demonstrate that adaPool systematically achieves better results across tasks and backbones, while introducing a minor additional computational and memory overhead.
arxiv情報
| 著者 | Alexandros Stergiou,Ronald Poppe |
| 発行日 | 2022-12-02 09:29:18+00:00 |
| arxivサイト | arxiv_id(pdf) |