Transferring Extreme Subword Style Using Ngram Model-Based Logit Scaling

要約

NGRAMモデルベースのロジットスケーリング手法を提示し、推論時に極端なサブワードスタイルのバリエーションを大規模な言語モデルに効果的に転送します。
評価モデルのNGRAM補間と元のバージョンに関して、生成されたテキストの困惑を追跡することにより、その有効性を実証します。
前者の測定値を最小化する一方、後者はターゲットの著者またはキャラクターによって生成されたテキストの困惑に近づくと、流encyさを維持しながら十分な適応を選択できます。

要約(オリジナル)

We present an ngram model-based logit scaling technique that effectively transfers extreme subword stylistic variation to large language models at inference time. We demonstrate its efficacy by tracking the perplexity of generated text with respect to the ngram interpolated and original versions of an evaluation model. Minimizing the former measure while the latter approaches the perplexity of a text produced by a target author or character lets us select a sufficient degree of adaptation while retaining fluency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google