RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

要約

Transformer の固定サイズのコンテキストにより、GPT モデルは任意の長さのテキストを生成できなくなります。
この論文では、RNN における再発メカニズムの言語ベースのシミュラクルである RecurrentGPT を紹介します。
RecurrentGPT は ChatGPT などの大規模言語モデル (LLM) に基づいて構築されており、自然言語を使用して LSTM における長短期記憶メカニズムをシミュレートします。
各タイムステップで、RecurrentGPT はテキストの段落を生成し、ハード ドライブとプロンプトにそれぞれ保存されている言語ベースの長期および短期記憶を更新します。
この反復メカニズムにより、RecurrentGPT は忘れることなく任意の長さのテキストを生成できます。
人間のユーザーは自然言語の記憶を簡単に観察および編集できるため、RecurrentGPT は解釈可能であり、長いテキストのインタラクティブな生成を可能にします。
RecurrentGPT は、ローカル編集の提案を超えた、次世代のコンピューター支援ライティング システムに向けた最初のステップです。
AI 生成コンテンツ (AIGC) の作成に加えて、消費者と直接対話するインタラクティブ フィクションとして RecurrentGPT を使用する可能性も示します。
私たちはこのような生成モデルの活用を「AI As Content」（AIAC）と呼んでおり、従来のAIGCの次の形であると考えています。
さらに、RecurrentGPT を使用して、作家と対話するのではなく読者と直接対話するパーソナライズされたインタラクティブ フィクションを作成できる可能性を示します。
より広く言えば、RecurrentGPT は、LLM を促すための認知科学と深層学習で人気のあるモデル設計からアイデアを借用することの有用性を実証します。
私たちのコードは https://github.com/aiwaves-cn/RecurrentGPT で入手でき、オンライン デモは https://www.aiwaves.org/recurrentgpt で入手できます。

要約(オリジナル)

The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by “AI As Contents” (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google