Patch-Based Stochastic Attention for Image Editing

要約

近年の深層学習では、注意メカニズムが非常に重要になっています。
これらの非ローカル操作は、画像処理における従来のパッチベースの方法に似ており、ローカル畳み込みを補完します。
ただし、アテンション マトリックス全体を計算することは、メモリと計算負荷が高く、コストのかかるステップです。
これらの制限により、特に高解像度の画像の場合、ネットワーク アーキテクチャとパフォーマンスが制限されます。
おおよその最近傍を決定するために使用される確率的アルゴリズムPatchMatchに基づいて、効率的なアテンションレイヤーを提案します。
提案されたレイヤーを「パッチベースの確率的注意レイヤー」（PSAL）と呼びます。
さらに、パッチ アグリゲーションに基づくさまざまなアプローチを提案して、PSAL の微分可能性を確保し、レイヤーを含むネットワークのエンド ツー エンドのトレーニングを可能にします。
PSAL はメモリ フットプリントが小さいため、高解像度のイメージにスケーリングできます。
最近隣の空間精度とグローバル性を犠牲にすることなく、このフットプリントを維持します。つまり、浅いレベルであっても、深いアーキテクチャの任意のレベルに簡単に挿入できます。
画像の修復、ガイド付き画像の色付け、単一画像の超解像度など、いくつかの画像編集タスクでの PSAL の有用性を示します。
コードは https://github.com/ncherel/psal で入手できます。

要約(オリジナル)

Attention mechanisms have become of crucial importance in deep learning in recent years. These non-local operations, which are similar to traditional patch-based methods in image processing, complement local convolutions. However, computing the full attention matrix is an expensive step with heavy memory and computational loads. These limitations curb network architectures and performances, in particular for the case of high resolution images. We propose an efficient attention layer based on the stochastic algorithm PatchMatch, which is used for determining approximate nearest neighbors. We refer to our proposed layer as a ‘Patch-based Stochastic Attention Layer’ (PSAL). Furthermore, we propose different approaches, based on patch aggregation, to ensure the differentiability of PSAL, thus allowing end-to-end training of any network containing our layer. PSAL has a small memory footprint and can therefore scale to high resolution images. It maintains this footprint without sacrificing spatial precision and globality of the nearest neighbors, which means that it can be easily inserted in any level of a deep architecture, even in shallower levels. We demonstrate the usefulness of PSAL on several image editing tasks, such as image inpainting, guided image colorization, and single-image super-resolution. Our code is available at: https://github.com/ncherel/psal

arxiv情報

提供元, 利用サービス

arxiv.jp, Google