MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation

要約

私たちは、大規模言語モデル (LLM) が一貫した長距離のオープンドメイン会話を維持するために自己作成メモを効果的に使用できるようにする命令を改良するためのパイプラインである MemoChat を提案します。
「記憶-検索-応答」の反復サイクルを通じて、長距離のオープンドメイン会話を実証します。
そのためには、それぞれの段階に合わせて調整手順を慎重に設計する必要があります。
この命令は公開データセットのコレクションから再構築され、LLM に構造化されたメモで過去の対話を記憶して取得するよう教え、将来の会話に参加する際の一貫性の向上につながります。
長距離会話の質問の一貫性を評価するために設計されたテスト セットに手動で注釈を付けるよう専門家を招待します。
オープンソースと API でアクセス可能なチャットボットの両方を含む 3 つのテスト シナリオの大規模な実験により、強力なベースラインを上回るメモチャットの有効性が検証されました。

要約(オリジナル)

We propose MemoChat, a pipeline for refining instructions that enables large language models (LLMs) to effectively employ self-composed memos for maintaining consistent long-range open-domain conversations. We demonstrate a long-range open-domain conversation through iterative ‘memorization-retrieval-response’ cycles. This requires us to carefully design tailored tuning instructions for each distinct stage. The instructions are reconstructed from a collection of public datasets to teach the LLMs to memorize and retrieve past dialogues with structured memos, leading to enhanced consistency when participating in future conversations. We invite experts to manually annotate a test set designed to evaluate the consistency of long-range conversations questions. Experiments on three testing scenarios involving both open-source and API-accessible chatbots at scale verify the efficacy of MemoChat, which outperforms strong baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google