Towards Understanding What Code Language Models Learned

要約

事前トレーニングされた言語モデルは、さまざまな自然言語タスクに効果的ですが、その機能は意味を完全に学習したり、言語を理解したりするには不十分であると主張されています。
言語モデルが何らかの形式の意味をどの程度学習できるかを理解するために、表面的な頻度や共起を超えてコードの意味論を捉える能力を調査します。
言語的特徴についてモデルを精査するこれまでの研究とは対照的に、私たちは、意味論を学習するモデルの能力を客観的かつ直接的に評価できる設定で、事前トレーニングされたモデルを研究します。
この論文では、そのようなモデルが正確かつ形式的に定義されたコードのセマンティクスを捉えているかどうかを検証します。
コードフラグメントの操作を伴う実験を通じて、コードの事前トレーニング済みモデルが、形式のみの表面的な特徴を超えた、コードの計算セマンティクスの堅牢な表現を学習することを示します。

要約(オリジナル)

Pre-trained language models are effective in a variety of natural language tasks, but it has been argued their capabilities fall short of fully learning meaning or understanding language. To understand the extent to which language models can learn some form of meaning, we investigate their ability to capture semantics of code beyond superficial frequency and co-occurrence. In contrast to previous research on probing models for linguistic features, we study pre-trained models in a setting that allows for objective and straightforward evaluation of a model’s ability to learn semantics. In this paper, we examine whether such models capture the semantics of code, which is precisely and formally defined. Through experiments involving the manipulation of code fragments, we show that code pre-trained models of code learn a robust representation of the computational semantics of code that goes beyond superficial features of form alone

arxiv情報

提供元, 利用サービス

arxiv.jp, Google