DRESSing Up LLM: Efficient Stylized Question-Answering via Style Subspace Editing

要約

表現編集を通じて様式化された大規模言語モデル (LLM) 応答を生成するための新しいアプローチである DRESS を紹介します。
プロンプトや微調整などの既存の方法は、特に NPC の作成やキャラクターのロールプレイングなどのタスクにおいて、複雑なスタイルの適応には不十分であるか、計算コストが高くなります。
私たちのアプローチは、LLM の過剰パラメータ化の性質を利用して、モデルの表現空間内のスタイル関連の部分空間を解きほぐして表現編集を実行し、元のセマンティクスへの影響を最小限に抑えます。
アダプティブ編集の強度を適用することで、スタイル サブスペース内のステアリング ベクトルを動的に調整して、スタイルの忠実性とセマンティックの整合性の両方を維持します。
DRESS の有効性を検証するために 2 つの様式化された QA ベンチマーク データセットを開発しました。その結果は、プロンプトや ITI などのベースライン手法と比較して大幅な改善を示しています。
つまり、DRESS は、柔軟かつ効果的なスタイル制御によって LLM を強化するための軽量でトレイン不要のソリューションであり、様式化された会話型エージェントの開発に特に役立ちます。
コードとベンチマーク データセットは https://github.com/ArthurLeoM/DRESS-LLM で入手できます。

要約(オリジナル)

We introduce DRESS, a novel approach for generating stylized large language model (LLM) responses through representation editing. Existing methods like prompting and fine-tuning are either insufficient for complex style adaptation or computationally expensive, particularly in tasks like NPC creation or character role-playing. Our approach leverages the over-parameterized nature of LLMs to disentangle a style-relevant subspace within the model’s representation space to conduct representation editing, ensuring a minimal impact on the original semantics. By applying adaptive editing strengths, we dynamically adjust the steering vectors in the style subspace to maintain both stylistic fidelity and semantic integrity. We develop two stylized QA benchmark datasets to validate the effectiveness of DRESS, and the results demonstrate significant improvements compared to baseline methods such as prompting and ITI. In short, DRESS is a lightweight, train-free solution for enhancing LLMs with flexible and effective style control, making it particularly useful for developing stylized conversational agents. Codes and benchmark datasets are available at https://github.com/ArthurLeoM/DRESS-LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google