Multi-Excitation Projective Simulation with a Many-Body Physics Inspired Inductive Bias

要約

ディープラーニングの目覚ましい進歩により、機械学習に依存するアプリケーションが日常生活にますます組み込まれています。
ただし、ほとんどの深層学習モデルは不透明で神託のような性質を持っており、その決定を解釈して理解することが困難です。
この問題は、説明可能な人工知能 (XAI) として知られる分野の開発につながりました。
射影シミュレーション (PS) として知られるこの分野の手法の 1 つは、概念が付加された頂点を持つグラフ上の粒子のランダム ウォークとして思考連鎖をモデル化します。
この記述には、量子化の可能性を含むさまざまな利点がありますが、複数の概念を同時に組み合わせる思考のモデル化には当然使用できません。
この制限を克服するために、多重励起射影シミュレーション (mePS) を導入します。これは、思考連鎖をハイパーグラフ上のいくつかの粒子のランダム ウォークであるとみなす一般化です。
動的ハイパーグラフの定義は、AI およびハイパーグラフ視覚化への応用とともに、エージェントのトレーニング履歴を記述するために提唱されています。
量子多体物理学で使用され、非常に成功を収めた少数体相互作用モデルに触発された帰納的バイアスは、古典的な mePS フレームワーク用に形式化され、ハイパーグラフの単純な実装に関連する指数関数的な複雑さに取り組むために使用されます。
私たちは、誘導バイアスによって複雑さが指数関数から多項式に軽減されることを証明します。指数は相互作用できる粒子の数のカットオフを表します。
私たちは、この方法を 2 つのおもちゃの環境と、壊れたコンピューターの診断をモデル化するより複雑なシナリオに数値的に適用しました。
これらの環境は、誘導バイアスの適切な選択によってもたらされるリソースの節約を実証するとともに、解釈可能性の側面を示します。
mePS の量子モデルについても簡単に概説し、その将来の方向性についていくつか説明します。

要約(オリジナル)

With the impressive progress of deep learning, applications relying on machine learning are increasingly being integrated into daily life. However, most deep learning models have an opaque, oracle-like nature making it difficult to interpret and understand their decisions. This problem led to the development of the field known as eXplainable Artificial Intelligence (XAI). One method in this field known as Projective Simulation (PS) models a chain-of-thought as a random walk of a particle on a graph with vertices that have concepts attached to them. While this description has various benefits, including the possibility of quantization, it cannot be naturally used to model thoughts that combine several concepts simultaneously. To overcome this limitation, we introduce Multi-Excitation Projective Simulation (mePS), a generalization that considers a chain-of-thought to be a random walk of several particles on a hypergraph. A definition for a dynamic hypergraph is put forward to describe the agent’s training history along with applications to AI and hypergraph visualization. An inductive bias inspired by the remarkably successful few-body interaction models used in quantum many-body physics is formalized for our classical mePS framework and employed to tackle the exponential complexity associated with naive implementations of hypergraphs. We prove that our inductive bias reduces the complexity from exponential to polynomial, with the exponent representing the cutoff on how many particles can interact. We numerically apply our method to two toy environments and a more complex scenario modelling the diagnosis of a broken computer. These environments demonstrate the resource savings provided by an appropriate choice of inductive bias, as well as showcasing aspects of interpretability. A quantum model for mePS is also briefly outlined and some future directions for it are discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google