Personalized LLM Response Generation with Parameterized Memory Injection

要約

大規模言語モデル(LLM)は、自然言語を理解し、生成することに顕著な熟練度を示している。一方、パーソナライズされたLLMの応答生成は、医療などの重要な分野において、個人に大きな利益をもたらす可能性を秘めている。既存の研究では、新しいクエリに関してパーソナライズされた応答を生成するために、あらかじめ記憶されたユーザー固有の知識をLLMに促すメモリ増強法が研究されてきた。我々は、このようなパラダイムでは、細かい粒度の情報を知覚できないと主張する。本研究では、PEFT（parameter-efficient fine-tuning）を用い、ベイズ最適化探索戦略と共に、新規の⾰⾰の記憶-⾰⾰⾰⾰⾰⾰⾰⾰⾰⾰⾰の探索アプローチを提案する。

要約(オリジナル)

Large Language Models (LLMs) have exhibited remarkable proficiency in comprehending and generating natural language. On the other hand, personalized LLM response generation holds the potential to offer substantial benefits for individuals in critical areas such as medical. Existing research has explored memory-augmented methods to prompt the LLM with pre-stored user-specific knowledge for personalized response generation in terms of new queries. We contend that such paradigm is unable to perceive fine-granularity information. In this study, we propose a novel \textbf{M}emory-\textbf{i}njected approach using parameter-efficient fine-tuning (PEFT) and along with a Bayesian Optimisation searching strategy to achieve \textbf{L}LM \textbf{P}ersonalization(\textbf{MiLP}).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL