Attention-based Neural Cellular Automata

要約

セル オートマトン (CA) の最近の拡張機能には、最新の深層学習からの重要なアイデアが組み込まれており、その機能が劇的に拡張され、ニューラル セル オートマトン (NCA) 技術の新しいファミリが触媒されています。
Transformer ベースのアーキテクチャに着想を得て、私たちの仕事は、空間的にローカライズされた$\unicode{x2014}$まだグローバルに組織化された$\unicode{x2014}$self-attention スキームを使用して形成された $\textit{attention-based}$ NCA の新しいクラスを提示します
.
$\textit{Vision Transformer Cellular Automata}$ (ViTCA) という名前のこのクラスのインスタンスを導入します。
ViTCA を U-Net、U-Net ベースの CA ベースライン (UNetCA)、および Vision Transformer (ViT) と比較して、6 つのベンチマーク データセットにわたる自動エンコードのノイズ除去に関する定量的および定性的な結果を提示します。
同様のパラメータの複雑さで構成されたアーキテクチャ間で比較すると、ViTCA アーキテクチャは、すべてのベンチマークおよびほぼすべての評価メトリックで優れたパフォーマンスを発揮します。
ViTCA のさまざまなアーキテクチャ構成に関するアブレーション研究、細胞状態への影響の分析、およびその誘導バイアスに関する調査を提示します。
最後に、収束したセル状態の非表示表現で線形プローブを介して学習した表現を調べ、U-Net、ViT、および UNetCA ベースラインと比較した場合、平均して優れた結果をもたらします。

要約(オリジナル)

Recent extensions of Cellular Automata (CA) have incorporated key ideas from modern deep learning, dramatically extending their capabilities and catalyzing a new family of Neural Cellular Automata (NCA) techniques. Inspired by Transformer-based architectures, our work presents a new class of $\textit{attention-based}$ NCAs formed using a spatially localized$\unicode{x2014}$yet globally organized$\unicode{x2014}$self-attention scheme. We introduce an instance of this class named $\textit{Vision Transformer Cellular Automata}$ (ViTCA). We present quantitative and qualitative results on denoising autoencoding across six benchmark datasets, comparing ViTCA to a U-Net, a U-Net-based CA baseline (UNetCA), and a Vision Transformer (ViT). When comparing across architectures configured to similar parameter complexity, ViTCA architectures yield superior performance across all benchmarks and for nearly every evaluation metric. We present an ablation study on various architectural configurations of ViTCA, an analysis of its effect on cell states, and an investigation on its inductive biases. Finally, we examine its learned representations via linear probes on its converged cell state hidden representations, yielding, on average, superior results when compared to our U-Net, ViT, and UNetCA baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google