On Compositionality and Improved Training of NADO

要約

NeurAlly-Decomused Oracle (NADO) は、大規模な言語モデルを使用して制御可能な生成を実現するための強力なアプローチです。
微調整/即時調整とは異なり、モデルの容量を大幅に制限することなく、大規模な基本モデルの壊滅的な忘れを回避し、エントロピーが最大化された閉形式ソリューションへの確実な収束を達成できる可能性があります。
NADO は成功しましたが、より複雑なシナリオに NADO を適用すると、いくつかの課題が発生します。
まず、複数の制御信号の合成に NADO を使用するベスト プラクティスは十分に検討されていません。
第 2 に、バニラ NADO は、確率の低い制御信号の勾配消失に悩まされ、順方向一貫性の正則化に大きく依存しています。
この論文では、NADO を使用する際の前述の課題を理論的および経験的に研究します。
我々は、特定の実践により NADO の保証された構成的一般化を達成できることを示し、前方一貫性を完全に保証するための NADO の新しい代替パラメータ化を提案します。
CommonGen での NADO のトレーニング、つまり NADO++ の改善を評価します。
結果は、NADO++ がさまざまな側面でアルゴリズムの有効性を向上させることを示しています。

要約(オリジナル)

NeurAlly-Decomposed Oracle (NADO) is a powerful approach for controllable generation with large language models. Differentiating from finetuning/prompt tuning, it has the potential to avoid catastrophic forgetting of the large base model and achieve guaranteed convergence to an entropy-maximized closed-form solution without significantly limiting the model capacity. Despite its success, several challenges arise when applying NADO to more complex scenarios. First, the best practice of using NADO for the composition of multiple control signals is under-explored. Second, vanilla NADO suffers from gradient vanishing for low-probability control signals and is highly reliant on the forward-consistency regularization. In this paper, we study the aforementioned challenges when using NADO theoretically and empirically. We show we can achieve guaranteed compositional generalization of NADO with a certain practice, and propose a novel alternative parameterization of NADO to perfectly guarantee the forward-consistency. We evaluate the improved training of NADO, i.e. NADO++, on CommonGen. Results show that NADO++ improves the effectiveness of the algorithm in multiple aspects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google