Large Knowledge Model: Perspectives and Challenges

要約

人類の世界理解は基本的に私たちの知覚と認識に結びついており、\emph{人間の言語}は \emph{世界の知識} の主要な伝達手段の 1 つとして機能します。
この意味で、ChatGPT のような \emph{Large Language Models} (LLM) は、広範なシーケンスベースの世界知識をニューラル ネットワークに事前トレーニングする典型であり、パラメトリック空間でのこの知識の処理と操作を容易にします。
この記事では、「知識」というレンズを通して大規模なモデルを調査します。
私たちは最初に、LLM の強化におけるナレッジ グラフ (KG) などの記号知識の役割を調査し、知識拡張言語モデル、構造誘導事前トレーニング、知識プロンプト、構造化 CoT、知識編集、LLM および知識知識のためのセマンティック ツールなどの側面をカバーします。
AIエージェント。
続いて、KG ビルダーおよびコントローラーとしての LLM の使用、構造化知識の事前トレーニング、LLM によって強化された記号推論などの側面を含めて、LLM が従来の記号知識ベースをどのように強化できるかを検証します。
人間の知識の複雑な性質を考慮して、私たちは、多様な知識構造を管理するために特別に設計された \emph{大規模知識モデル} (LKM) の作成を提唱します。
この有望な取り組みには、言語モデルからの知識ベースの切り離し、人間の知識との認知的調整、知覚と認知の統合、物理世界と対話するための大規模な常識モデルの構築など、いくつかの重要な課題が伴います。
最後に、LKM の概念を区別するために 5 つの「A」原則を提案します。

要約(オリジナル)

Humankind’s understanding of the world is fundamentally linked to our perception and cognition, with \emph{human languages} serving as one of the major carriers of \emph{world knowledge}. In this vein, \emph{Large Language Models} (LLMs) like ChatGPT epitomize the pre-training of extensive, sequence-based world knowledge into neural networks, facilitating the processing and manipulation of this knowledge in a parametric space. This article explores large models through the lens of ‘knowledge’. We initially investigate the role of symbolic knowledge such as Knowledge Graphs (KGs) in enhancing LLMs, covering aspects like knowledge-augmented language model, structure-inducing pre-training, knowledgeable prompts, structured CoT, knowledge editing, semantic tools for LLM and knowledgeable AI agents. Subsequently, we examine how LLMs can boost traditional symbolic knowledge bases, encompassing aspects like using LLM as KG builder and controller, structured knowledge pretraining, and LLM-enhanced symbolic reasoning. Considering the intricate nature of human knowledge, we advocate for the creation of \emph{Large Knowledge Models} (LKM), specifically engineered to manage diversified spectrum of knowledge structures. This promising undertaking would entail several key challenges, such as disentangling knowledge base from language models, cognitive alignment with human knowledge, integration of perception and cognition, and building large commonsense models for interacting with physical world, among others. We finally propose a five-‘A’ principle to distinguish the concept of LKM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google