Towards LifeSpan Cognitive Systems

要約

シミュレートされたデジタル世界であろうと人間社会であろうと、複雑な環境と継続的に対話する人間のようなシステムを構築するには、いくつかの重要な課題が伴います。
その中心となるのは、継続的で高頻度のインタラクションを可能にすることであり、このインタラクションはエクスペリエンスと呼ばれます。
私たちは、この構想されたシステムを LifeSpan Cognitive System (LSCS) と呼びます。
LSCS の重要な機能は、過去のエクスペリエンスを保持し、正確に思い出しながら、増分的かつ迅速な更新に取り組む機能です。
この論文では、大規模言語モデル (LLM) の領域に焦点を当て、(1) 抽象化とエクスペリエンスの融合、および (2) 正確な想起による長期保持という 2 つの主要な課題を特定します。
これらのプロパティは、新しいエクスペリエンスを保存し、過去のエクスペリエンスを整理し、関連する履歴データを活用する方法で環境に対応するために不可欠です。
通常、微調整のために大規模なコーパスに依存し、特定のドメインまたはタスク内のパフォーマンスの向上に重点を置く継続学習の言語モデルとは異なり、LSCS は、環境からの新しい情報を高頻度で迅速かつ増分的に更新する必要があります。
上記の 2 つの主要な課題を解決できる可能性のある既存のテクノロジーは、過去のエクスペリエンスを保存するために必要な相対的なスペースを測定するストレージ複雑性と呼ばれる概念的な指標に基づいて 4 つのクラスに分類できます。
これら 4 つのクラスのテクノロジにはそれぞれ独自の長所と限界がありますが、私たちは、これらのテクノロジのどれも単独では LSCS を達成できないと主張します。
この目的を達成するために、4 つのクラスのテクノロジーすべてを統合できる LSCS のインスタンス化の可能性を提案します。
推測として機能する新しいインスタンス化は、経験の吸収と応答の生成という 2 つの中心的なプロセスを通じて動作します。

要約(オリジナル)

Building a human-like system that continuously interacts with complex environments — whether simulated digital worlds or human society — presents several key challenges. Central to this is enabling continuous, high-frequency interactions, where the interactions are termed experiences. We refer to this envisioned system as the LifeSpan Cognitive System (LSCS). A critical feature of LSCS is its ability to engage in incremental and rapid updates while retaining and accurately recalling past experiences. In this paper we focus on the domain of Large Language Models (LLMs), where we identify two major challenges: (1) Abstraction and Experience Merging, and (2) Long-term Retention with Accurate Recall. These properties are essential for storing new experiences, organizing past experiences, and responding to the environment in ways that leverage relevant historical data. Unlike language models with continual learning, which typically rely on large corpora for fine-tuning and focus on improving performance within specific domains or tasks, LSCS must rapidly and incrementally update with new information from its environment at a high frequency. Existing technologies with the potential of solving the above two major challenges can be classified into four classes based on a conceptual metric called Storage Complexity, which measures the relative space required to store past experiences. Each of these four classes of technologies has its own strengths and limitations while we argue none of them alone can achieve LSCS alone. To this end, we propose a potential instantiation for LSCS that can integrate all four classes of technologies. The new instantiation, serving as a conjecture, operates through two core processes: Absorbing Experiences and Generating Responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google