Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence

要約

言語モデルには、交​​換可能なトークンの概念がありません。正式なロジックのバインド変数など、意味的に同等でありながら明確なシンボル。
この制限は、より大きな語彙への一般化を防ぎ、バインドされた変数を名前を変更することで意味を維持するアルファ等価を認識するモデルの能力を妨げます。
この機械学習の問題を正式にし、そのような変換の堅牢性を評価するためのメトリックであるAlpha-Covarianceを導入します。
このタスクに取り組むために、デュアルパートトークンの埋め込み戦略を提案します。共有コンポーネントはセマンティックの一貫性を保証し、ランダム化されたコンポーネントはトークンの識別性を維持します。
データ増強のためのアルファリネーミングに依存するベースラインと比較して、私たちのアプローチは、線形時間的論理解決における目に見えないトークンへの一般化、命題論理割り当て予測、および拡張可能な語彙とのコピーを導入しながら、アルファ等価の有利な誘導バイアスを導入することを示しています。
私たちの調査結果は、交換可能なトークン表現を学習できる言語モデルを設計するための基盤を確立します。これは、正式なドメインでより柔軟で体系的な推論に向けた重要なステップです。
コードとプロジェクトのページは、https：//necrashter.github.io/interchangable-token-embeddingsで入手できます

要約(オリジナル)

Language models lack the notion of interchangeable tokens: symbols that are semantically equivalent yet distinct, such as bound variables in formal logic. This limitation prevents generalization to larger vocabularies and hinders the model’s ability to recognize alpha-equivalence, where renaming bound variables preserves meaning. We formalize this machine learning problem and introduce alpha-covariance, a metric for evaluating robustness to such transformations. To tackle this task, we propose a dual-part token embedding strategy: a shared component ensures semantic consistency, while a randomized component maintains token distinguishability. Compared to a baseline that relies on alpha-renaming for data augmentation, our approach demonstrates improved generalization to unseen tokens in linear temporal logic solving, propositional logic assignment prediction, and copying with an extendable vocabulary, while introducing a favorable inductive bias for alpha-equivalence. Our findings establish a foundation for designing language models that can learn interchangeable token representations, a crucial step toward more flexible and systematic reasoning in formal domains. Our code and project page are available at https://necrashter.github.io/interchangeable-token-embeddings

arxiv情報

提供元, 利用サービス

arxiv.jp, Google