RET-LLM: Towards a General Read-Write Memory for Large Language Models

要約

大規模言語モデル (LLM) は、その広範なパラメーターと包括的なデータ利用を通じて、自然言語処理 (NLP) の分野を大幅に進歩させました。
ただし、既存の LLM には専用のメモリ ユニットがないため、さまざまなタスクの知識を明示的に保存および取得する能力が制限されています。
この論文では、LLM に一般的な書き込み/読み取りメモリ ユニットを装備し、タスクの実行に必要なテキストから知識を抽出、保存、および呼び出すことができる新しいフレームワークである RET-LLM を提案します。
Davidsonian 意味論理論に触発され、知識をトリプレットの形式で抽出して保存します。
メモリ ユニットは、スケーラブル、集約可能、更新可能、および解釈可能であるように設計されています。
定性的評価を通じて、質問応答タスクにおけるベースラインアプローチよりも提案されたフレームワークの優位性を実証します。
さらに、私たちのフレームワークは、時間ベースの質問応答タスクの処理において堅牢なパフォーマンスを示し、時間依存の情報を効果的に管理する能力を示しています。

要約(オリジナル)

Large language models (LLMs) have significantly advanced the field of natural language processing (NLP) through their extensive parameters and comprehensive data utilization. However, existing LLMs lack a dedicated memory unit, limiting their ability to explicitly store and retrieve knowledge for various tasks. In this paper, we propose RET-LLM a novel framework that equips LLMs with a general write-read memory unit, allowing them to extract, store, and recall knowledge from the text as needed for task performance. Inspired by Davidsonian semantics theory, we extract and save knowledge in the form of triplets. The memory unit is designed to be scalable, aggregatable, updatable, and interpretable. Through qualitative evaluations, we demonstrate the superiority of our proposed framework over baseline approaches in question answering tasks. Moreover, our framework exhibits robust performance in handling temporal-based question answering tasks, showcasing its ability to effectively manage time-dependent information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google