ChatDB: Augmenting LLMs with Databases as Their Symbolic Memory

要約

メモリを備えた大規模言語モデル (LLM) は、計算的に汎用的です。
ただし、主流の LLM はメモリを最大限に活用しておらず、設計は生物学的な脳に大きく影響されています。
LLM の近似的な性質とエラーが蓄積しやすいため、従来のニューラル メモリ メカニズムは、複雑な推論をシミュレートするための LLM をサポートできません。
この論文では、現代のコンピュータ アーキテクチャからインスピレーションを得て、複雑なマルチホップ推論のためにシンボリック メモリを備えた LLM を強化します。
このようなシンボリック メモリ フレームワークは、LLM および SQL データベースのセットとしてインスタンス化され、LLM は SQL データベースを操作するための SQL 命令を生成します。
複雑な推論を必要とする合成データセット上で、提案されたメモリ フレームワークの有効性を検証します。
プロジェクトの Web サイトは https://chatdatabase.github.io/ から入手できます。

要約(オリジナル)

Large language models (LLMs) with memory are computationally universal. However, mainstream LLMs are not taking full advantage of memory, and the designs are heavily influenced by biological brains. Due to their approximate nature and proneness to the accumulation of errors, conventional neural memory mechanisms cannot support LLMs to simulate complex reasoning. In this paper, we seek inspiration from modern computer architectures to augment LLMs with symbolic memory for complex multi-hop reasoning. Such a symbolic memory framework is instantiated as an LLM and a set of SQL databases, where the LLM generates SQL instructions to manipulate the SQL databases. We validate the effectiveness of the proposed memory framework on a synthetic dataset requiring complex reasoning. The project website is available at https://chatdatabase.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google