Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale

要約

大規模言語モデル (LLM) は、人工知能 (AI) に対する多くの定説を間違いなく変えるマイルストーンを達成しました。
ただし、真の言語理解に関しては、これらの LLM には依然として多くの制限があり、これはディープ ニューラル ネットワークの基礎となるアーキテクチャの副産物である制限です。
さらに、そのサブシンボリックな性質により、言語の仕組みについてこれらのモデルが取得した知識は常に何十億ものマイクロ特徴 (重み) に埋もれており、そのどれも単独では意味を持たず、そのようなモデルは絶望的に説明不能になります。
これらの制限に対処するために、私たちは、シンボル表現の強さと、LLM の成功の鍵であると考えられるもの、つまり、大規模な言語のボトムアップ リバース エンジニアリングの成功を組み合わせることを提案します。
そのため、私たちは記号環境における言語のボトムアップ リバース エンジニアリングを主張します。
このプロジェクトがどのようなものであるかについてのヒントは、何人かの著者によって提案されており、ここではこのプロジェクトがどのように達成されるかについて詳しく説明します。

要約(オリジナル)

Large language models (LLMs) have achieved a milestone that undenia-bly changed many held beliefs in artificial intelligence (AI). However, there remains many limitations of these LLMs when it comes to true language understanding, limitations that are a byproduct of the under-lying architecture of deep neural networks. Moreover, and due to their subsymbolic nature, whatever knowledge these models acquire about how language works will always be buried in billions of microfeatures (weights), none of which is meaningful on its own, making such models hopelessly unexplainable. To address these limitations, we suggest com-bining the strength of symbolic representations with what we believe to be the key to the success of LLMs, namely a successful bottom-up re-verse engineering of language at scale. As such we argue for a bottom-up reverse engineering of language in a symbolic setting. Hints on what this project amounts to have been suggested by several authors, and we discuss in some detail here how this project could be accomplished.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google