Banach-Tarski Embeddings and Transformers

要約

任意の再帰的データ構造を高次元ベクトルに埋め込む新しい構造を導入します。
これらの埋め込みは、トランスフォーマーの潜在状態ベクトルの解釈可能なモデルを提供します。
埋め込みの次元が十分に大きい場合、これらの埋め込みを元のデータ構造にデコードできることを示します。
このデコード アルゴリズムは、トランスフォーマーとして自然に実装されています。
また、これらの埋め込みベクトルを直接操作して、デコードせずに基礎となるデータの計算を実行できることも示します。
例として、埋め込み空間でのベクトル演算のみを使用して、埋め込みトークン シーケンスの埋め込み解析ツリーを構築するアルゴリズムを紹介します。

要約(オリジナル)

We introduce a new construction of embeddings of arbitrary recursive data structures into high dimensional vectors. These embeddings provide an interpretable model for the latent state vectors of transformers. We demonstrate that these embeddings can be decoded to the original data structure when the embedding dimension is sufficiently large. This decoding algorithm has a natural implementation as a transformer. We also show that these embedding vectors can be manipulated directly to perform computations on the underlying data without decoding. As an example we present an algorithm that constructs the embedded parse tree of an embedded token sequence using only vector operations in embedding space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google