INSPECT: Intrinsic and Systematic Probing Evaluation for Code Transformers

要約

ソース コードの事前トレーニング済みモデルは、最近、さまざまなソフトウェア エンジニアリング タスクに適用されて成功しています。
実際に実際に採用されている例も見られます。
コード補完用。
しかし、これらの事前トレーニングされたモデルがソース コードについて何を学習するかについては、まだほとんどわかっていません。
この記事では、プローブ (モデルをさらにトレーニングしない単純な診断タスク) を使用して、事前トレーニングされたモデルがソース コードの特定の側面についてどの程度学習しているかを発見します。
拡張可能なフレームワークを使用して、ソース コードの表面、構文、構造、および意味論的な特性を実行する 15 のプローブ タスクを定義します。
8 つの事前トレーニング済みソース コード モデルと、ベースラインとしての自然言語モデル (BERT) を調査します。
いくつかの構造情報 (GraphCodeBERT など) を組み込んだモデルは、ソース コードの特性をより適切に表現していることがわかりました。
驚くべきことに、一部のプローブ タスクでは、BERT がソース コード モデルと競合できることがわかりました。これは、それぞれのコードの特性に関するソース コード固有の事前トレーニングを改善する十分な機会があることを示しています。
他の研究者には、モデルの隠れ層を覗いて、どのような固有のコード特性がエンコードされているかを特定できるよう、プローブ タスク スイートを使用してモデルを評価することをお勧めします。

要約(オリジナル)

Pre-trained models of source code have recently been successfully applied to a wide variety of Software Engineering tasks; they have also seen some practical adoption in practice, e.g. for code completion. Yet, we still know very little about what these pre-trained models learn about source code. In this article, we use probing–simple diagnostic tasks that do not further train the models–to discover to what extent pre-trained models learn about specific aspects of source code. We use an extensible framework to define 15 probing tasks that exercise surface, syntactic, structural and semantic characteristics of source code. We probe 8 pre-trained source code models, as well as a natural language model (BERT) as our baseline. We find that models that incorporate some structural information (such as GraphCodeBERT) have a better representation of source code characteristics. Surprisingly, we find that for some probing tasks, BERT is competitive with the source code models, indicating that there are ample opportunities to improve source-code specific pre-training on the respective code characteristics. We encourage other researchers to evaluate their models with our probing task suite, so that they may peer into the hidden layers of the models and identify what intrinsic code characteristics are encoded.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google