Connectivity-Inspired Network for Context-Aware Recognition

要約

この文書の目的は 3 つあります。
私たちは広範な文献レビューにより人間の視覚システムについて AI 実践者に情報を提供します。
私たちは、画像分類のための生物学的に動機付けられた新しいニューラルネットワークを提案します。
そして最後に、コンテキスト認識をモデル化するための新しいプラグアンドプレイ モジュールを紹介します。
私たちは、視覚認識に対処するために生物学的な脳に見られる回路モチーフを組み込む効果に焦点を当てています。
当社の畳み込みアーキテクチャは、人間の皮質および皮質下のストリームの接続性にインスピレーションを得ており、視覚領域と認知領域の間の広範な求心性および遠心性接続を模倣するボトムアップおよびトップダウンの変調を実装しています。
当社のコンテキスト アテンション ブロックはシンプルかつ効果的で、あらゆるフィードフォワード ニューラル ネットワークと統合できます。
シーンへの因果的影響に従って特徴マップを乗算する重みを推論し、画像内のさまざまなオブジェクトの共起をモデル化します。
モジュールをさまざまなボトルネックに配置して、階層的なコンテキスト認識をモデルに注入します。
私たちは、ベンチマーク データでの画像分類実験を通じて提案を検証し、クラス アクティベーションによってパフォーマンスと生成された説明の堅牢性が一貫して向上していることを確認しました。
私たちのコードは https://github.com/gianlucarloni/CoCoReco で入手できます。

要約(オリジナル)

The aim of this paper is threefold. We inform the AI practitioner about the human visual system with an extensive literature review; we propose a novel biologically motivated neural network for image classification; and, finally, we present a new plug-and-play module to model context awareness. We focus on the effect of incorporating circuit motifs found in biological brains to address visual recognition. Our convolutional architecture is inspired by the connectivity of human cortical and subcortical streams, and we implement bottom-up and top-down modulations that mimic the extensive afferent and efferent connections between visual and cognitive areas. Our Contextual Attention Block is simple and effective and can be integrated with any feed-forward neural network. It infers weights that multiply the feature maps according to their causal influence on the scene, modeling the co-occurrence of different objects in the image. We place our module at different bottlenecks to infuse a hierarchical context awareness into the model. We validated our proposals through image classification experiments on benchmark data and found a consistent improvement in performance and the robustness of the produced explanations via class activation. Our code is available at https://github.com/gianlucarloni/CoCoReco.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google