S$Ω$I: Score-based O-INFORMATION Estimation

要約

科学データと複雑な多変量システムの分析には、複数の確率変数間の関係を捉える情報量が必要です。
最近、ペアごとの相互作用の考慮に限定される相互情報量などの古典的な情報理論の欠点を克服するために、新しい情報理論的尺度が開発されました。
中でも、情報の相乗効果と冗長性の概念は、変数間の高次の依存関係を理解するために重要です。
この概念に基づく最も顕著で汎用性の高い尺度の 1 つは O 情報です。これは、多変量システムにおける相乗効果と冗長性のバランスを定量化する明確かつスケーラブルな方法を提供します。
ただし、実際の適用は単純化されたケースに限定されます。
この研究では、システムに関する制限的な仮定なしに O 情報を計算することを初めて可能にする S$\Omega$I を導入します。
私たちの実験では、合成データに対するアプローチを検証し、現実世界のユースケースのコンテキストで S$\Omega$I の有効性を実証します。

要約(オリジナル)

The analysis of scientific data and complex multivariate systems requires information quantities that capture relationships among multiple random variables. Recently, new information-theoretic measures have been developed to overcome the shortcomings of classical ones, such as mutual information, that are restricted to considering pairwise interactions. Among them, the concept of information synergy and redundancy is crucial for understanding the high-order dependencies between variables. One of the most prominent and versatile measures based on this concept is O-information, which provides a clear and scalable way to quantify the synergy-redundancy balance in multivariate systems. However, its practical application is limited to simplified cases. In this work, we introduce S$\Omega$I, which allows for the first time to compute O-information without restrictive assumptions about the system. Our experiments validate our approach on synthetic data, and demonstrate the effectiveness of S$\Omega$I in the context of a real-world use case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google