Continuous Language Model Interpolation for Dynamic and Controllable Text Generation

要約

大規模言語モデル (LLM) がさまざまなユースケースで人気を集めているため、特にユーザー向けアプリケーションでは、LLM を適応性と制御可能にすることがますます重要になっています。
LLM 適応に関する既存の文献は主に、事前に定義された 1 つの目的を最適化するモデルを見つけることに焦点を当てていますが、ここではモデルが多様な、そしてしばしば変化するユーザーの好みに動的に適応しなければならないという困難なケースに焦点を当てます。
このために、線形重み補間に基づく適応手法を活用し、特定の所定の生成特性を持つモデルをオンザフライで生成する連続マルチドメイン補間器としてキャストします。
具体的には、低ランクの更新を使用してベース モデルをさまざまなドメインに合わせて微調整し、異なる世代プロファイルを持つ一連のアンカー モデルを生成します。
次に、これらのアンカー モデルの重み更新を使用して、凸包内に含まれるモデルの (無限の) クラス全体をパラメータ化します。
補間の重みを変更すると、すべての制御された属性に関してモデル出力に予測可能な一貫した変化が生じることが経験的に示されています。
ほとんどの属性間に絡み合いがほとんどないことがわかり、そうでない属性のペアを特定して議論します。
私たちの結果は、微調整されたモデルの重み間を線形補間することで、複数のスタイル的特徴を同時に考慮してモデル出力を予測可能かつきめ細かく制御することが容易になることを示唆しています。

要約(オリジナル)

As large language models (LLMs) have gained popularity for a variety of use cases, making them adaptable and controllable has become increasingly important, especially for user-facing applications. While the existing literature on LLM adaptation primarily focuses on finding a model (or models) that optimizes a single predefined objective, here we focus on the challenging case where the model must dynamically adapt to diverse — and often changing — user preferences. For this, we leverage adaptation methods based on linear weight interpolation, casting them as continuous multi-domain interpolators that produce models with specific prescribed generation characteristics on-the-fly. Specifically, we use low-rank updates to fine-tune a base model to various different domains, yielding a set of anchor models with distinct generation profiles. Then, we use the weight updates of these anchor models to parametrize the entire (infinite) class of models contained within their convex hull. We empirically show that varying the interpolation weights yields predictable and consistent change in the model outputs with respect to all of the controlled attributes. We find that there is little entanglement between most attributes and identify and discuss the pairs of attributes for which this is not the case. Our results suggest that linearly interpolating between the weights of fine-tuned models facilitates predictable, fine-grained control of model outputs with respect to multiple stylistic characteristics simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google