Episodic memory in AI agents poses risks that should be studied and mitigated

要約

現在のほとんどの AI モデルには、その動作の記録や表現を保存し、後で取得する機能がほとんどありません。
人間の認知において、エピソード記憶は、過去の思い出と将来の計画の両方において重要な役割を果たします。
エピソード記憶を形成して使用する機能も同様に、世界で対話し、アクションを実行する AI エージェントの幅広い機能の向上を可能にします。
研究者たちは、AI モデルの記憶能力の開発により多くの注意を向け始めています。
したがって、近い将来、このような機能を備えたモデルが普及する可能性があります。
これにより、ユーザーが AI エージェントの行動をより適切に監視、理解、制御できるようになり、そのような AI エージェントの安全性が向上することに、ある意味で貢献する可能性があります。
しかし、幅広い用途を持つ新しい機能であるため、研究者が研究し、対処し始める必要がある重大な新たなリスクも導入することになると私たちは主張します。
私たちはこれらのリスクと利点を概説し、AI の安全性と信頼性を維持する取り組みを損なうのではなく強化するエピソード記憶機能の開発を導くための 4 つの原則を提案します。

要約(オリジナル)

Most current AI models have little ability to store and later retrieve a record or representation of what they do. In human cognition, episodic memories play an important role in both recall of the past as well as planning for the future. The ability to form and use episodic memories would similarly enable a broad range of improved capabilities in an AI agent that interacts with and takes actions in the world. Researchers have begun directing more attention to developing memory abilities in AI models. It is therefore likely that models with such capability will be become widespread in the near future. This could in some ways contribute to making such AI agents safer by enabling users to better monitor, understand, and control their actions. However, as a new capability with wide applications, we argue that it will also introduce significant new risks that researchers should begin to study and address. We outline these risks and benefits and propose four principles to guide the development of episodic memory capabilities so that these will enhance, rather than undermine, the effort to keep AI safe and trustworthy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google