Which Features are Learned by CodeBert: An Empirical Study of the BERT-based Source Code Representation Learning

要約

Bidirectional Encoder Representations from Transformers (BERT) は、自然言語プロセス (NLP) で提案され、有望な結果を示しています。
最近、研究者は BERT をソースコード表現学習に適用し、いくつかの下流タスクに関する良いニュースを報告しました。
ただし、この論文では、現在の方法ではソース コードのロジックを効果的に理解できないことを示しました。
ソース コードの表現は、プログラマが定義した変数名と関数名に大きく依存します。
私たちは、推測を実証し、将来の研究のための洞察を提供するために、一連の実験を設計および実装します。

要約(オリジナル)

The Bidirectional Encoder Representations from Transformers (BERT) were proposed in the natural language process (NLP) and shows promising results. Recently researchers applied the BERT to source-code representation learning and reported some good news on several downstream tasks. However, in this paper, we illustrated that current methods cannot effectively understand the logic of source codes. The representation of source code heavily relies on the programmer-defined variable and function names. We design and implement a set of experiments to demonstrate our conjecture and provide some insights for future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google