Enhancing deep neural networks through complex-valued representations and Kuramoto synchronization dynamics

要約

神経同期は、脳が視覚シーンを構造化された表現に整理する方法に重要な役割を果たすと仮定され、シーン内の複数のオブジェクトの堅牢なエンコードを可能にします。
ただし、現在の深い学習モデルは、しばしばオブジェクトの結合と格闘し、複数のオブジェクトを効果的に表現する能力を制限します。
神経科学に触発されて、同期ベースのメカニズムが視覚分類のために訓練された人工モデルでのオブジェクトエンコーディングを強化できるかどうかを調査します。
具体的には、複雑な値の表現と久本のダイナミクスを組み合わせて位相アラインメントを促進し、同じオブジェクトに属する機能のグループ化を促進します。
同期を使用した2つのアーキテクチャを評価します。フィードフォワードモデルと、フィードバック接続を備えた再発モデルを評価して、トップダウン情報を使用して位相同期を改善します。
どちらのモデルも、重複する手書きの数字、ノイズの多い入力、分散型変換の変換など、マルチオブジェクト画像を含むタスクにkuramoto同期することなく、実質価値のあるカウンターパートと複雑な値モデルよりも優れています。
私たちの調査結果は、深い学習モデルを強化し、複雑な視覚分類タスクにおけるパフォーマンス、堅牢性、および一般化を改善するための同期駆動型メカニズムの可能性を強調しています。

要約(オリジナル)

Neural synchrony is hypothesized to play a crucial role in how the brain organizes visual scenes into structured representations, enabling the robust encoding of multiple objects within a scene. However, current deep learning models often struggle with object binding, limiting their ability to represent multiple objects effectively. Inspired by neuroscience, we investigate whether synchrony-based mechanisms can enhance object encoding in artificial models trained for visual categorization. Specifically, we combine complex-valued representations with Kuramoto dynamics to promote phase alignment, facilitating the grouping of features belonging to the same object. We evaluate two architectures employing synchrony: a feedforward model and a recurrent model with feedback connections to refine phase synchronization using top-down information. Both models outperform their real-valued counterparts and complex-valued models without Kuramoto synchronization on tasks involving multi-object images, such as overlapping handwritten digits, noisy inputs, and out-of-distribution transformations. Our findings highlight the potential of synchrony-driven mechanisms to enhance deep learning models, improving their performance, robustness, and generalization in complex visual categorization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google