Efficient CNN with uncorrelated Bag of Features pooling

要約

CNN の優れたパフォーマンスにもかかわらず、通常は計算コストが高いため、計算能力の低いデバイスに展開することは依然として制限されています。
高度な複雑さの主な原因の 1 つは、畳み込み層と完全に接続された層の間の接続です。これには通常、多数のパラメーターが必要です。
この問題を軽減するために、Bag of Features (BoF) プーリングが最近提案されました。
BoF は、入力のヒストグラム表現をコンパイルするために使用される辞書を学習します。
このホワイト ペーパーでは、学習した辞書の項目が冗長でないことを保証することにより、BoF プーリングの上に構築してその効率を高めるアプローチを提案します。
辞書の項目のペアごとの相関に基づいて、追加の損失項を提案します。これは、標準的な損失を補完して、モデルを明示的に正則化して、より多様で豊富な辞書を学習します。
提案された戦略は、追加のパラメーターなしで、BoF の効率的なバリアントを生成し、そのパフォーマンスをさらに向上させます。

要約(オリジナル)

Despite the superior performance of CNN, deploying them on low computational power devices is still limited as they are typically computationally expensive. One key cause of the high complexity is the connection between the convolution layers and the fully connected layers, which typically requires a high number of parameters. To alleviate this issue, Bag of Features (BoF) pooling has been recently proposed. BoF learns a dictionary, that is used to compile a histogram representation of the input. In this paper, we propose an approach that builds on top of BoF pooling to boost its efficiency by ensuring that the items of the learned dictionary are non-redundant. We propose an additional loss term, based on the pair-wise correlation of the items of the dictionary, which complements the standard loss to explicitly regularize the model to learn a more diverse and rich dictionary. The proposed strategy yields an efficient variant of BoF and further boosts its performance, without any additional parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google