Personalized LLM Response Generation with Parameterized Memory Injection

要約

大規模言語モデル (LLM) は、自然言語の理解と生成において顕著な熟練度を示しています。
一方で、パーソナライズされた LLM 応答生成は、医療などの重要な分野の個人に多大な利益をもたらす可能性を秘めています。
既存の研究では、新しいクエリに関してパーソナライズされた応答を生成するために、事前に保存されたユーザー固有の知識を LLM に促すメモリ拡張方法が検討されています。
私たちは、そのようなパラダイムでは細かい粒度の情報を認識することができないと主張します。
この研究では、パラメーター効率の良い微調整 (PEFT) を使用し、 \textbf{L}LM \textbf を達成するためのベイジアン最適化検索戦略を使用した、新しい \textbf{M}emory-\textbf{i}njected アプローチを提案します。
{P}個人化(\textbf{MiLP})。

要約(オリジナル)

Large Language Models (LLMs) have exhibited remarkable proficiency in comprehending and generating natural language. On the other hand, personalized LLM response generation holds the potential to offer substantial benefits for individuals in critical areas such as medical. Existing research has explored memory-augmented methods to prompt the LLM with pre-stored user-specific knowledge for personalized response generation in terms of new queries. We contend that such paradigm is unable to perceive fine-granularity information. In this study, we propose a novel \textbf{M}emory-\textbf{i}njected approach using parameter-efficient fine-tuning (PEFT) and along with a Bayesian Optimisation searching strategy to achieve \textbf{L}LM \textbf{P}ersonalization(\textbf{MiLP}).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google