Open Problems and a Hypothetical Path Forward in LLM Knowledge Paradigms

要約

知識は、大規模な言語モデル（LLMS）の全体的な能力の基本です。
モデルの知識パラダイムは、知識をエンコードおよび利用する方法を指示し、そのパフォーマンスに大きな影響を与えます。
既存の知識パラダイムの下でのLLMの継続的な開発にもかかわらず、これらのフレームワーク内の問題はモデルの可能性を制約し続けています。
このブログ投稿は、モデル機能を制限する3つの重要なオープン問題を強調しています。（1）LLMの知識の更新、（2）逆の知識一般化の失敗（逆転呪い）、および（3）内部知識の矛盾。
これらの問題に対処する際に最近の進展を確認し、潜在的な一般的なソリューションについて議論します。
これらの領域での観察に基づいて、コンテキストの知識スケーリングに基づいて仮説的なパラダイムを提案し、現代の技術内で実行可能なままである実装経路をさらに概説します。
証拠は、このアプローチが現在の欠点に対処する可能性を秘めていることを示唆しており、将来のモデルパラダイムのビジョンとして機能します。
このブログ投稿は、LLMナレッジシステムの進捗状況の簡単な概要を研究者に提供することを目的としており、次世代モデルアーキテクチャの開発のインスピレーションを提供します。

要約(オリジナル)

Knowledge is fundamental to the overall capabilities of Large Language Models (LLMs). The knowledge paradigm of a model, which dictates how it encodes and utilizes knowledge, significantly affects its performance. Despite the continuous development of LLMs under existing knowledge paradigms, issues within these frameworks continue to constrain model potential. This blog post highlight three critical open problems limiting model capabilities: (1) challenges in knowledge updating for LLMs, (2) the failure of reverse knowledge generalization (the reversal curse), and (3) conflicts in internal knowledge. We review recent progress made in addressing these issues and discuss potential general solutions. Based on observations in these areas, we propose a hypothetical paradigm based on Contextual Knowledge Scaling, and further outline implementation pathways that remain feasible within contemporary techniques. Evidence suggests this approach holds potential to address current shortcomings, serving as our vision for future model paradigms. This blog post aims to provide researchers with a brief overview of progress in LLM knowledge systems, while provide inspiration for the development of next-generation model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google