Deep spatial context: when attention-based models meet spatial regression

要約

我々は、空間コンテキストの概念を使用した注意ベースの視覚モデルの研究に役立つ「ディープ空間コンテキスト」(DSCon)手法を提案します。
この方法は組織病理学者からインスピレーションを得たものですが、さまざまな領域に適用できます。
DSCon では、3 つの空間コンテキスト測定値 $SCM_{features}$、$SCM_{targets}$、$SCM_{residuals}$ を使用して、空間コンテキストの役割を定量的に測定でき、空間コンテキストが地物内で観察可能かどうかを区別できます。
それぞれ、隣接領域、そのターゲット値 (注意スコア)、または残差です。
これは、空間回帰をパイプラインに統合することで実現されます。
DSCon は、研究上の疑問を検証するのに役立ちます。
実験により、腫瘍病変の分類の場合、正常組織よりも空間的関係がはるかに大きいことが明らかになりました。
さらに、空間回帰内で考慮される近傍のサイズが大きくなるほど、コンテキスト情報の価値が低くなることがわかります。
さらに、ターゲットや残差とは対照的に、特徴空間内で考慮した場合、空間コンテキストの尺度が最大であることが観察されます。

要約(オリジナル)

We propose ‘Deep spatial context’ (DSCon) method, which serves for investigation of the attention-based vision models using the concept of spatial context. It was inspired by histopathologists, however, the method can be applied to various domains. The DSCon allows for a quantitative measure of the spatial context’s role using three Spatial Context Measures: $SCM_{features}$, $SCM_{targets}$, $SCM_{residuals}$ to distinguish whether the spatial context is observable within the features of neighboring regions, their target values (attention scores) or residuals, respectively. It is achieved by integrating spatial regression into the pipeline. The DSCon helps to verify research questions. The experiments reveal that spatial relationships are much bigger in the case of the classification of tumor lesions than normal tissues. Moreover, it turns out that the larger the size of the neighborhood taken into account within spatial regression, the less valuable contextual information is. Furthermore, it is observed that the spatial context measure is the largest when considered within the feature space as opposed to the targets and residuals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google