Task-Optimized Convolutional Recurrent Networks Align with Tactile Processing in the Rodent Brain

要約

触覚センシングは、視覚や言語などのより成熟したモダリティと比較して、神経科学ではあまり理解されておらず、人工システムではあまり効果的ではありません。
これらのギャップは、新しいエンコーダーアテンダーデコーダー（EAD）フレームワークを導入して、カスタマイズされたげっ歯類ウィスカアレイシミュレーターから現実的な触覚入力シーケンスを訓練するタスク最適化された時間ニューラルネットワークの空間を体系的に調査します。
触覚分類のための純粋なフィードフォワードおよび状態空間アーキテクチャに対する優れたエンコーダーとして、畳み込みの再発性ニューラルネットワーク（CONBRNNS）を特定します。
重要なことに、これらのConvrnn-EncoderベースのEADモデルは、神経表現を密接に一致させるげっ歯類の体性感覚皮質を達成し、説明可能な神経変動性を飽和させ、監視された分類パフォーマンスと神経整列との明確な線形関係を明らかにします。
さらに、触覚固有の増強で訓練された対照的な自己監督の統合条件ベースのEADは、監視されたニューラルフィットを一致させ、エトロジーに関連するラベルのないプロキシとして機能します。
神経科学の場合、我々の発見は、体性感覚皮質の汎用触覚表現に重要であると非線形再発処理を強調し、このシステムの基礎となる誘導バイアスの最初の定量的特性評価を提供します。
具体化されたAIの場合、我々の結果は、現実的な触覚入力を処理するための再発性EADアーキテクチャの重要性と、構造化されていない環境で感覚を感じるのと同じタイプのセンサーを使用して、堅牢な触覚知覚を達成するための調整された自己監視学習方法を強調しています。

要約(オリジナル)

Tactile sensing remains far less understood in neuroscience and less effective in artificial systems compared to more mature modalities such as vision and language. We bridge these gaps by introducing a novel Encoder-Attender-Decoder (EAD) framework to systematically explore the space of task-optimized temporal neural networks trained on realistic tactile input sequences from a customized rodent whisker-array simulator. We identify convolutional recurrent neural networks (ConvRNNs) as superior encoders to purely feedforward and state-space architectures for tactile categorization. Crucially, these ConvRNN-encoder-based EAD models achieve neural representations closely matching rodent somatosensory cortex, saturating the explainable neural variability and revealing a clear linear relationship between supervised categorization performance and neural alignment. Furthermore, contrastive self-supervised ConvRNN-encoder-based EADs, trained with tactile-specific augmentations, match supervised neural fits, serving as an ethologically-relevant, label-free proxy. For neuroscience, our findings highlight nonlinear recurrent processing as important for general-purpose tactile representations in somatosensory cortex, providing the first quantitative characterization of the underlying inductive biases in this system. For embodied AI, our results emphasize the importance of recurrent EAD architectures to handle realistic tactile inputs, along with tailored self-supervised learning methods for achieving robust tactile perception with the same type of sensors animals use to sense in unstructured environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google