A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions

要約

生物学的および人工ネットワークの優れたパフォーマンスにもかかわらず、それらのローカル学習ダイナミクスがネットワークレベルのタスク解決にどのように寄与するかを直観的に理解することは、今日に至るまで課題のままです。
学習をよりローカルなスケールに近づける取り組みは確かに貴重な洞察につながりますが、多様なタスクにわたって解釈可能かつ適応可能なローカルな学習目標を記述するための一般的な建設的なアプローチはまだ不足しています。
我々は以前に、コンパートメント構造を持つモデルニューロンに対して高度に適応性と解釈可能な局所情報処理目標を定式化しました。
部分情報分解 (PID) の最近の進歩に基づいて、ここで対応するパラメトリックなローカル学習ルールを導き出し、これにより「インフォモーフィック」ニューラル ネットワークの導入が可能になります。
私たちは、教師あり学習、教師なし学習、および記憶学習によるタスクを実行するためのこれらのネットワークの多用途性を実証します。
PID フレームワークの解釈可能な性質を活用することにより、インフォモーフィック ネットワークは、ローカル学習の複雑な構造についての理解を進めるための貴重なツールとなります。

要約(オリジナル)

Despite the impressive performance of biological and artificial networks, an intuitive understanding of how their local learning dynamics contribute to network-level task solutions remains a challenge to this date. Efforts to bring learning to a more local scale indeed lead to valuable insights, however, a general constructive approach to describe local learning goals that is both interpretable and adaptable across diverse tasks is still missing. We have previously formulated a local information processing goal that is highly adaptable and interpretable for a model neuron with compartmental structure. Building on recent advances in Partial Information Decomposition (PID), we here derive a corresponding parametric local learning rule, which allows us to introduce ‘infomorphic’ neural networks. We demonstrate the versatility of these networks to perform tasks from supervised, unsupervised and memory learning. By leveraging the interpretable nature of the PID framework, infomorphic networks represent a valuable tool to advance our understanding of the intricate structure of local learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google