Self-Adapting Language Models

要約

大規模な言語モデル（LLM）は強力ですが静的です。
それらは、新しいタスク、知識、または例に応じて体重を適応させるメカニズムを欠いています。
自己適用LLMS（SEAL）を導入します。これは、独自の微調整データと更新ディレクティブを生成することにより、LLMが自己適応できるようにするフレームワークです。
新しい入力を考えると、モデルは、さまざまな方法で情報を再構築したり、最適化ハイパーパラメーターを指定したり、データの増強と勾配ベースの更新のツールを呼び出したりする可能性のある自己編集の世代を生成します。
監視されたFinetuning（SFT）を通じて、これらの自己編集は永続的な重量の更新をもたらし、永続的な適応を可能にします。
モデルをトレーニングして効果的な自己編集を生成するために、更新されたモデルのダウンストリームパフォーマンスを報酬信号として補強学習ループを使用します。
個別の適応モジュールや補助ネットワークに依存する以前のアプローチとは異なり、SEALはモデル自身の生成を直接使用して適応プロセスを制御します。
知識の取り込みと少数のショットの一般化に関する実験は、シールが自主的な適応が可能な言語モデルに向けた有望なステップであることを示しています。
当社のウェブサイトとコードは、https：//jyopari.github.io/posts/sealで入手できます。

要約(オリジナル)

Large language models (LLMs) are powerful but static; they lack mechanisms to adapt their weights in response to new tasks, knowledge, or examples. We introduce Self-Adapting LLMs (SEAL), a framework that enables LLMs to self-adapt by generating their own finetuning data and update directives. Given a new input, the model produces a self-edit-a generation that may restructure the information in different ways, specify optimization hyperparameters, or invoke tools for data augmentation and gradient-based updates. Through supervised finetuning (SFT), these self-edits result in persistent weight updates, enabling lasting adaptation. To train the model to produce effective self-edits, we use a reinforcement learning loop with the downstream performance of the updated model as the reward signal. Unlike prior approaches that rely on separate adaptation modules or auxiliary networks, SEAL directly uses the model’s own generation to control its adaptation process. Experiments on knowledge incorporation and few-shot generalization show that SEAL is a promising step toward language models capable of self-directed adaptation. Our website and code is available at https://jyopari.github.io/posts/seal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google