A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions

要約

生物学的および人工ネットワークの印象的なパフォーマンスにもかかわらず、彼らのローカル学習ダイナミクスがネットワークレベルのタスクソリューションにどのように貢献するかについての直感的な理解は、この日付の課題です。
学習をよりローカルな規模に導くための努力は、実際に貴重な洞察につながりますが、多様なタスクにわたって解釈可能で適応性のある地元の学習目標を説明するための一般的な建設的なアプローチはまだ欠落しています。
以前は、コンパートメント構造を持つモデルニューロンにとって非常に適応性が高く解釈可能なローカル情報処理目標を策定しました。
部分的な情報分解（PID）の最近の進歩に基づいて、ここでは、「インフォマフィック」ニューラルネットワークを導入できる対応するパラメトリックローカル学習ルールを導き出します。
これらのネットワークの汎用性を実証して、監視された、監視されていない、メモリ学習からのタスクを実行します。
PIDフレームワークの解釈可能な性質を活用することにより、インフォマフィックネットワークは、地元の学習の複雑な構造の理解を促進するための貴重なツールを表しています。

要約(オリジナル)

Despite the impressive performance of biological and artificial networks, an intuitive understanding of how their local learning dynamics contribute to network-level task solutions remains a challenge to this date. Efforts to bring learning to a more local scale indeed lead to valuable insights, however, a general constructive approach to describe local learning goals that is both interpretable and adaptable across diverse tasks is still missing. We have previously formulated a local information processing goal that is highly adaptable and interpretable for a model neuron with compartmental structure. Building on recent advances in Partial Information Decomposition (PID), we here derive a corresponding parametric local learning rule, which allows us to introduce ‘infomorphic’ neural networks. We demonstrate the versatility of these networks to perform tasks from supervised, unsupervised and memory learning. By leveraging the interpretable nature of the PID framework, infomorphic networks represent a valuable tool to advance our understanding of the intricate structure of local learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google