Adaptive Patching for High-resolution Image Segmentation with Transformers

要約

注意ベースのモデルは、セグメンテーションを含む画像分析の分野で急増しています。
Transformer エンコーダに画像を供給する標準的な方法は、画像をパッチに分割し、そのパッチをトークンの線形シーケンスとしてモデルに供給することです。
高解像度画像の場合、例:
顕微鏡的な病理画像では、セグメンテーションに有利な小さなパッチ サイズを使用する場合、二次計算とメモリのコストにより、注意ベースのモデルの使用が不可能になります。
解決策は、カスタムの複雑な多重解像度モデルを使用するか、近似的な注意スキームを使用することです。
HPC の適応メッシュ リファインメント (AMR) 手法からインスピレーションを得て、前処理ステップとして、画像の詳細に基づいて画像に適応的にパッチを適用し、モデルに供給されるパッチの数を桁違いに削減します。
このメソッドのオーバーヘッドは無視でき、あらゆるアテンション ベースのモデルとシームレスに動作します。つまり、これは、あらゆるアテンション ベースのモデルで摩擦なく採用できる前処理ステップです。
私たちは、実世界の病理学データセットに対して SoTA セグメンテーション モデルよりも優れたセグメンテーション品質を実証し、最大 $2,048$ の GPU で最大 $64K^2$ の解像度で $6.9\times$ の幾何平均速度向上を実現します。

要約(オリジナル)

Attention-based models are proliferating in the space of image analytics, including segmentation. The standard method of feeding images to transformer encoders is to divide the images into patches and then feed the patches to the model as a linear sequence of tokens. For high-resolution images, e.g. microscopic pathology images, the quadratic compute and memory cost prohibits the use of an attention-based model, if we are to use smaller patch sizes that are favorable in segmentation. The solution is to either use custom complex multi-resolution models or approximate attention schemes. We take inspiration from Adapative Mesh Refinement (AMR) methods in HPC by adaptively patching the images, as a pre-processing step, based on the image details to reduce the number of patches being fed to the model, by orders of magnitude. This method has a negligible overhead, and works seamlessly with any attention-based model, i.e. it is a pre-processing step that can be adopted by any attention-based model without friction. We demonstrate superior segmentation quality over SoTA segmentation models for real-world pathology datasets while gaining a geomean speedup of $6.9\times$ for resolutions up to $64K^2$, on up to $2,048$ GPUs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google