Self-Supervised Alignment with Mutual Information: Learning to Follow Principles without Preference Labels

要約

言語モデル (LM) をプロンプトするとき、ユーザーは多くの場合、そのモデルが有害な言葉や偏った言葉を避けながら洞察力に富んだコンテンツを作成するなど、さまざまなタスクにわたって一連の行動原則に従うことを期待します。
このような原則をモデルに組み込むことはリソースを大量に消費し、技術的に困難になる可能性があり、通常は人間の好みのラベルや例が必要になります。
SAMI を紹介します。これは、事前に訓練された LM に、好みのラベルやデモンストレーションを必要とせずに、行動原則に従うように教えるための方法です。
SAMI は、事前トレーニング済み LM を微調整して、データセットからのクエリに応じて構成と自己生成応答の間の条件付き相互情報を増加させる反復アルゴリズムです。
シングルターンの対話と要約では、SAMI でトレーニングされた mistral-7b は、初期の事前トレーニング済みモデルよりも優れたパフォーマンスを示し、勝率は 66% ～ 77% でした。
驚くべきことに、シングルターン対話での勝率は 55% ～ 57% で、命令で微調整されたベースライン (mistral-7b-instruct) も上回っています。
SAMI には「プリンシパル ライター」モデルが必要です。
より強力なモデルへの依存を避けるために、弱い命令微調整モデル (mistral-7b-instruct) によって記述された構成を使用して、強力な事前トレーニング済みモデル (mixtral-8x7b) の調整をさらに評価します。
SAMI でトレーニングされた mixtral-8x7b は、初期モデルと命令で微調整されたモデルの両方を上回り、要約で 65% の勝率を達成しました。
私たちの結果は、事前訓練されたLMは、好みのラベル、デモンストレーション、または人間の監視を使用せずに、憲法に従うことを学習できることを示しています。

要約(オリジナル)

When prompting a language model (LM), users frequently expect the model to adhere to a set of behavioral principles across diverse tasks, such as producing insightful content while avoiding harmful or biased language. Instilling such principles into a model can be resource-intensive and technically challenging, generally requiring human preference labels or examples. We introduce SAMI, a method for teaching a pretrained LM to follow behavioral principles that does not require any preference labels or demonstrations. SAMI is an iterative algorithm that finetunes a pretrained LM to increase the conditional mutual information between constitutions and self-generated responses given queries from a datasest. On single-turn dialogue and summarization, a SAMI-trained mistral-7b outperforms the initial pretrained model, with win rates between 66% and 77%. Strikingly, it also surpasses an instruction-finetuned baseline (mistral-7b-instruct) with win rates between 55% and 57% on single-turn dialogue. SAMI requires a ‘principle writer’ model; to avoid dependence on stronger models, we further evaluate aligning a strong pretrained model (mixtral-8x7b) using constitutions written by a weak instruction-finetuned model (mistral-7b-instruct). The SAMI-trained mixtral-8x7b outperforms both the initial model and the instruction-finetuned model, achieving a 65% win rate on summarization. Our results indicate that a pretrained LM can learn to follow constitutions without using preference labels, demonstrations, or human oversight.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google