Unraveling the geometry of visual relational reasoning

要約

人間や他の動物は、神経ネットワークが苦労しているのに対し、形や色が一定になることを認識するなど、抽象的な関係を容易に一般化します。
ニューラルネットワークが抽象的な関係を一般化する方法を調査するために、系統的評価のための新しいベンチマークであるSimpliedRPMを導入します。
並行して、人間の実験を実施してリレーショナルの難易度をベンチマークし、直接的なモデルと人間の比較を可能にします。
Resnet-50、ビジョン変圧器、野生関係ネットワーク、および散乱組成学習者（SCL）の4つのアーキテクチャのテスト – SCLは、人間の行動と最適に整合し、最適化することがわかります。
神経表現の幾何学的理論に基づいて、一般化を予測する表現形状を示します。
レイヤーごとの分析は、モデル間の明確なリレーショナル推論戦略を明らかにし、目に見えないルール表現がトレーニング型のサブスペースに圧縮されるトレードオフを示唆しています。
幾何学的な視点に導かれ、新しい客観的なバランス表現ジオメトリであるSnrossを提案し、評価します。
私たちの調査結果は、ニューラルネットワークがどのように抽象的な関係を一般化するかについての幾何学的な洞察を提供し、AIでより人間のような視覚的推論への道を開いています。

要約(オリジナル)

Humans and other animals readily generalize abstract relations, such as recognizing constant in shape or color, whereas neural networks struggle. To investigate how neural networks generalize abstract relations, we introduce SimplifiedRPM, a novel benchmark for systematic evaluation. In parallel, we conduct human experiments to benchmark relational difficulty, enabling direct model-human comparisons. Testing four architectures–ResNet-50, Vision Transformer, Wild Relation Network, and Scattering Compositional Learner (SCL)–we find that SCL best aligns with human behavior and generalizes best. Building on a geometric theory of neural representations, we show representational geometries that predict generalization. Layer-wise analysis reveals distinct relational reasoning strategies across models and suggests a trade-off where unseen rule representations compress into training-shaped subspaces. Guided by our geometric perspective, we propose and evaluate SNRloss, a novel objective balancing representation geometry. Our findings offer geometric insights into how neural networks generalize abstract relations, paving the way for more human-like visual reasoning in AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google