RSIR Transformer: Hierarchical Vision Transformer using Random Sampling Windows and Important Region Windows

要約

タイトル: RSIRトランスフォーマー：ランダムサンプリングウィンドウと重要領域ウィンドウを使用した階層型ビジョン・トランスフォーマー

要約:

– トランスフォーマーは、さまざまなビジョンタスクで有望な性能を示しましたが、特に高解像度のビジョンタスクには、グローバル・セルフアテンションの高いコストが課題となっています。
– ローカル・セルフアテンションは、効率性のために限定された領域内でアテンション計算を実行するため、受容野が小さいためにコンテキストモデリングに不十分です。
– この研究では、階層型ビジョン・トランスフォーマーのグローバルモデリング能力を強化するために、ランダムサンプリングウィンドウ（RS-Win）と重要領域ウィンドウ（IR-Win）の2つの新しいアテンションモジュールを紹介しています。
– 具体的には、RS-Winは一様分布に従ってランダムな画像パッチをサンプリングしてウィンドウを構成します。つまり、RS-Winのパッチは画像内のどの位置からでも来ることができます。IR-Winは、アテンションマップ内の画像パッチの重みに従ってウィンドウを構成します。
– 特に、RS-Winは、全体のモデル全体でグローバルな情報をキャプチャでき、高解像度の初期ステージでも有効です。IR-Winは、自己アテンションモジュールが画像の重要な領域に焦点を当て、より情報豊富な特徴をキャプチャすることを可能にします。
– これらの設計を組み合わせたRSIR-Winトランスフォーマーは、一般的なビジョンタスクで競争力のあるパフォーマンスを示します。

要約(オリジナル)

Recently, Transformers have shown promising performance in various vision tasks. However, the high costs of global self-attention remain challenging for Transformers, especially for high-resolution vision tasks. Local self-attention runs attention computation within a limited region for the sake of efficiency, resulting in insufficient context modeling as their receptive fields are small. In this work, we introduce two new attention modules to enhance the global modeling capability of the hierarchical vision transformer, namely, random sampling windows (RS-Win) and important region windows (IR-Win). Specifically, RS-Win sample random image patches to compose the window, following a uniform distribution, i.e., the patches in RS-Win can come from any position in the image. IR-Win composes the window according to the weights of the image patches in the attention map. Notably, RS-Win is able to capture global information throughout the entire model, even in earlier, high-resolution stages. IR-Win enables the self-attention module to focus on important regions of the image and capture more informative features. Incorporated with these designs, RSIR-Win Transformer demonstrates competitive performance on common vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI