What should a neuron aim for? Designing local objective functions based on information theory

要約

最新のディープ・ニューラル・ネットワークでは、大域的最適化によってネットワークが学習されるため、個々のニューロンの学習ダイナミクスはしばしば不明瞭である。逆に、生物学的システムは、自己組織化された局所的学習によって構築され、限られた大域的情報で頑健性と効率性を達成している。ここでは、抽象的な生物学的局所学習目標を設計することで、個々の人工ニューロン間の自己組織化を達成できることを示す。これらの目標は、情報理論の最近の拡張である部分情報分解（PID）を用いてパラメータ化される。PIDは、ある結果について情報源の集合が保持する情報を、ユニークな寄与、冗長な寄与、相乗的な寄与に分解する。このフレームワークは、ニューロンが、フィードフォワード、フィードバック、ラテラルという様々な入力クラスからの情報の統合を局所的に形成することを可能にし、3つの入力のうちどれが出力に独自に、冗長に、あるいは相乗的に寄与するかを選択する。この選択は、PID項の加重和として表現され、与えられた問題に対して、直感的な推論から直接導き出すことも、数値最適化によって導き出すこともでき、タスクに関連する局所情報処理を理解するための窓を提供する。局所学習を用いた強力なパフォーマンスを可能にしながら、ニューロンレベルの解釈可能性を達成した我々の研究は、局所学習戦略のための原理的な情報理論的基礎を前進させる。

要約(オリジナル)

In modern deep neural networks, the learning dynamics of the individual neurons is often obscure, as the networks are trained via global optimization. Conversely, biological systems build on self-organized, local learning, achieving robustness and efficiency with limited global information. We here show how self-organization between individual artificial neurons can be achieved by designing abstract bio-inspired local learning goals. These goals are parameterized using a recent extension of information theory, Partial Information Decomposition (PID), which decomposes the information that a set of information sources holds about an outcome into unique, redundant and synergistic contributions. Our framework enables neurons to locally shape the integration of information from various input classes, i.e. feedforward, feedback, and lateral, by selecting which of the three inputs should contribute uniquely, redundantly or synergistically to the output. This selection is expressed as a weighted sum of PID terms, which, for a given problem, can be directly derived from intuitive reasoning or via numerical optimization, offering a window into understanding task-relevant local information processing. Achieving neuron-level interpretability while enabling strong performance using local learning, our work advances a principled information-theoretic foundation for local learning strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL