Surveying the space of descriptions of a composite system with machine learning

要約

多変量情報理論は、複雑なシステムのコンポーネントがどのように接続されているかを理解するための一般的で原理的な枠組みを提供します。
既存の解析は本質的に粗く、個別のサブシステムの特性評価から構築されており、計算量が法外に多い可能性があります。
この研究では、複合システムの可能な記述の連続空間を、その組織構造への窓として研究することを提案します。
記述は、各コンポーネントについて伝達される特定の情報で構成され、可能な記述のスペースは、コンポーネントの非可逆圧縮スキームのスペースと同等です。
機械学習フレームワークを導入して、全体相関や O 情報など、組織を特徴付けるために使用される重要な情報理論量を極限化する記述を最適化します。
スピン システム、数独ボード、自然言語の文字列に関するケーススタディを通じて、システム全体の変動が個々のコンポーネントからどのように現れるかを明らかにする極端な記述を特定します。
機械学習を複合確率変数のきめ細かい情報理論分析に統合することにより、私たちのフレームワークは、現実世界の複雑なシステムの構造を調査するための新しい道を開きます。

要約(オリジナル)

Multivariate information theory provides a general and principled framework for understanding how the components of a complex system are connected. Existing analyses are coarse in nature — built up from characterizations of discrete subsystems — and can be computationally prohibitive. In this work, we propose to study the continuous space of possible descriptions of a composite system as a window into its organizational structure. A description consists of specific information conveyed about each of the components, and the space of possible descriptions is equivalent to the space of lossy compression schemes of the components. We introduce a machine learning framework to optimize descriptions that extremize key information theoretic quantities used to characterize organization, such as total correlation and O-information. Through case studies on spin systems, Sudoku boards, and letter sequences from natural language, we identify extremal descriptions that reveal how system-wide variation emerges from individual components. By integrating machine learning into a fine-grained information theoretic analysis of composite random variables, our framework opens a new avenues for probing the structure of real-world complex systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google