Large Knowledge Model: Perspectives and Challenges

要約

人類の世界理解は基本的に私たちの知覚と認識に結びついており、\emph{人間の言語}は \emph{世界の知識} の主要な伝達手段の 1 つとして機能します。
この意味で、ChatGPT のような \emph{Large Language Models} (LLM) は、広範なシーケンスベースの世界知識をニューラル ネットワークに事前トレーニングする典型であり、パラメトリック空間でのこの知識の処理と操作を容易にします。
この記事では、「知識」というレンズを通して大規模なモデルを探求します。
私たちは最初に、LLM の強化におけるナレッジ グラフ (KG) などの記号知識の役割を調査し、知識拡張言語モデル、構造誘導事前トレーニング、知識プロンプト、構造化 CoT、知識編集、LLM および知識知識のためのセマンティック ツールなどの側面をカバーします。
AIエージェント。
続いて、KG ビルダーおよびコントローラーとしての LLM の使用、構造化知識の事前トレーニング、LLM で強化された記号推論、知覚と認知の融合などの側面を含めて、LLM が従来の記号知識ベースをどのように増幅できるかを検証します。
人間の知識の複雑な性質を考慮して、私たちは、多様な知識構造を管理するために特別に設計された \emph{大規模知識モデル} (LKM) の作成を提唱します。
この野心的な取り組みには、言語モデルからの知識表現の解きほぐし、構造化された知識による事前トレーニングの再構築、大規模な常識モデルの構築など、いくつかの重要な課題が伴う可能性があります。
最後に、LKM の概念を区別するために 5 つの「A」原則を提案します。

要約(オリジナル)

Humankind’s understanding of the world is fundamentally linked to our perception and cognition, with \emph{human languages} serving as one of the major carriers of \emph{world knowledge}. In this vein, \emph{Large Language Models} (LLMs) like ChatGPT epitomize the pre-training of extensive, sequence-based world knowledge into neural networks, facilitating the processing and manipulation of this knowledge in a parametric space. This article explores large models through the lens of “knowledge”. We initially investigate the role of symbolic knowledge such as Knowledge Graphs (KGs) in enhancing LLMs, covering aspects like knowledge-augmented language model, structure-inducing pre-training, knowledgeable prompts, structured CoT, knowledge editing, semantic tools for LLM and knowledgeable AI agents. Subsequently, we examine how LLMs can amplify traditional symbolic knowledge bases, encompassing aspects like using LLM as KG builder and controller, structured knowledge pretraining, LLM-enhanced symbolic reasoning, and the amalgamation of perception with cognition. Considering the intricate nature of human knowledge, we advocate for the creation of \emph{Large Knowledge Models} (LKM), specifically engineered to manage diversified spectrum of knowledge structures. This ambitious undertaking could entail several key challenges, such as disentangling knowledge representation from language models, restructuring pre-training with structured knowledge, and building large commonsense models, among others. We finally propose a five-“A” principle to distinguish the concept of LKM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google