How Does Code Pretraining Affect Language Model Task Performance?

要約

大規模な言語モデルは、自然言語とソースコードなどの非言語データの両方を含むコーパスでますます訓練されています。
プログラミング関連のタスクを支援することは別として、事前の証拠は、corporaを事前に移動するコードを含めることで、他の無関係なタスクのパフォーマンスを改善する可能性があることを示唆しています。
ここでこれを行います。
2つの異なる設定で自然言語とコードを挿入するデータセット上の言語モデルを前処理します。加算式では、事前トレーニング中に見られるデータの総量が一定に保たれます。
言語データの量が一定に保たれている競争力。
事前トレーニング混合物が（a）ビッグベンチベンチマークに含まれるタスクの多様なコレクションと（b）セマンティック解析と構文変換の一般化精度によって測定される構成性のパフォーマンスにどのように影響するかを研究します。
コードのより高い割合で前orainingが、構造化された出力（セマンティック解析など）や数学を含む構成タスクのパフォーマンスを改善することがわかります。
逆に、コード混合物を増やすと、構文や形態などの言語構造に感度が必要なタスクや、実際の知識を測定するタスクなど、他のタスクのパフォーマンスに害を及ぼす可能性があります。

要約(オリジナル)

Large language models are increasingly trained on corpora containing both natural language and non-linguistic data like source code. Aside from aiding programming-related tasks, anecdotal evidence suggests that including code in pretraining corpora may improve performance on other, unrelated tasks, yet to date no work has been able to establish a causal connection by controlling between language and code data. Here we do just this. We pretrain language models on datasets which interleave natural language and code in two different settings: additive, in which the total volume of data seen during pretraining is held constant; and competitive, in which the volume of language data is held constant. We study how the pretraining mixture affects performance on (a) a diverse collection of tasks included in the BigBench benchmark, and (b) compositionality, measured by generalization accuracy on semantic parsing and syntactic transformations. We find that pretraining on higher proportions of code improves performance on compositional tasks involving structured output (like semantic parsing), and mathematics. Conversely, increase code mixture can harm performance on other tasks, including on tasks that requires sensitivity to linguistic structure such as syntax or morphology, and tasks measuring real-world knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google