Unnatural language processing: How do language models handle machine-generated prompts?

要約

言語モデル プロンプト最適化の研究では、意味的および文法的に整形式の手動で作成されたプロンプトは、モデルの埋め込み空間からのベクトルのシーケンスを含む、明らかな意味や構文構造のない自動生成されたトークン シーケンスよりもパフォーマンスが優れていることがわかっています。
機械生成のプロンプトを使用して、自然言語表現で構成されていない入力にモデルがどのように応答するかを調査します。
私たちは、機械が生成した連続的および離散的なプロンプトに応答した複数の意味論的タスクにおけるさまざまなサイズのモデルの動作を研究し、それを人間が生成した自然言語プロンプトに応答した動作と比較します。
同様の出力を生成する場合でも、機械が生成したプロンプトと人間のプロンプトは、ネットワーク処理経路を通じて、異なる困惑、異なる注意力と出力エントロピー分布、異なるユニット起動プロファイルなど、異なる応答パターンを引き起こします。
我々は、さまざまなプロンプトタイプによって活性化されるユニットの性質について予備的な洞察を提供し、自然言語プロンプトのみが真の言語回路を動員することを示唆しています。

要約(オリジナル)

Language model prompt optimization research has shown that semantically and grammatically well-formed manually crafted prompts are routinely outperformed by automatically generated token sequences with no apparent meaning or syntactic structure, including sequences of vectors from a model’s embedding space. We use machine-generated prompts to probe how models respond to input that is not composed of natural language expressions. We study the behavior of models of different sizes in multiple semantic tasks in response to both continuous and discrete machine-generated prompts, and compare it to the behavior in response to human-generated natural-language prompts. Even when producing a similar output, machine-generated and human prompts trigger different response patterns through the network processing pathways, including different perplexities, different attention and output entropy distributions, and different unit activation profiles. We provide preliminary insight into the nature of the units activated by different prompt types, suggesting that only natural language prompts recruit a genuinely linguistic circuit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google