Algorithmic causal structure emerging through compression

要約

因果関係、対称性、および圧縮の関係を調査します。
因果モデルが識別できない設定への学習と圧縮の間の既知の接続を構築し、一般化します。
複数の環境でデータを圧縮した結果として因果関係が現れるフレームワークを提案します。
アルゴリズムの因果関係は、因果関係の因果関係の伝統的な仮定が成り立たない場合の因果関係の代替定義として定義します。
介入ターゲットの知識なしに、コルモゴロフの複雑さの上限を最小限に抑えることで、アルゴリズムの因果構造と対称構造がどのように出現するかを示します。
これらの洞察は、因果関係が明示的に識別できない大規模な言語モデルなど、機械学習モデルの因果関係の出現についても新しい視点を提供する可能性があると仮定します。

要約(オリジナル)

We explore the relationship between causality, symmetry, and compression. We build on and generalize the known connection between learning and compression to a setting where causal models are not identifiable. We propose a framework where causality emerges as a consequence of compressing data across multiple environments. We define algorithmic causality as an alternative definition of causality when traditional assumptions for causal identifiability do not hold. We demonstrate how algorithmic causal and symmetric structures can emerge from minimizing upper bounds on Kolmogorov complexity, without knowledge of intervention targets. We hypothesize that these insights may also provide a novel perspective on the emergence of causality in machine learning models, such as large language models, where causal relationships may not be explicitly identifiable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google