Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs

要約

私たちの意見では、データ駆動型大規模言語モデル (LLM) の相対的な成功をめぐる熱狂は少し見当違いであり、いくつかの理由から (i) LLM では取り込まれたすべてのテキスト (事実または非事実) が使用されるため、LLM は事実に基づく情報として信頼できません。
平等に創造されました。
(ii) サブシンボリックな性質のため、これらのモデルが言語に関して取得した「知識」は常に何十億ものマイクロ特徴 (重み) の中に埋もれており、それ自体では意味のあるものはありません。
(iii) LLM は、いくつかの言語コンテキスト (名目上の複合語、共述語、数量詞のスコープの曖昧さ、内包的コンテキストなど) で正しい推論を行うことができないことがよくあります。データ駆動型の大規模言語モデル (LLM) は相対的に成功すると信じているため、
これは、記号対サブシンボルの議論についての考察ではなく、言語のボトムアップ リバース エンジニアリングの戦略を大規模に適用して成功したことについての考察である。本稿では、結果として生じる記号設定に効果的なボトムアップ戦略を適用することを提案する。
記号的で説明可能で、存在論的に根拠のある言語モデルで。

要約(オリジナル)

In our opinion the exuberance surrounding the relative success of data-driven large language models (LLMs) is slightly misguided and for several reasons (i) LLMs cannot be relied upon for factual information since for LLMs all ingested text (factual or non-factual) was created equal; (ii) due to their subsymbolic na-ture, whatever ‘knowledge’ these models acquire about language will always be buried in billions of microfeatures (weights), none of which is meaningful on its own; and (iii) LLMs will often fail to make the correct inferences in several linguistic contexts (e.g., nominal compounds, copredication, quantifier scope ambi-guities, intensional contexts. Since we believe the relative success of data-driven large language models (LLMs) is not a reflection on the symbolic vs. subsymbol-ic debate but a reflection on applying the successful strategy of a bottom-up reverse engineering of language at scale, we suggest in this paper applying the effective bottom-up strategy in a symbolic setting resulting in symbolic, explainable, and ontologically grounded language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google