Leveraging Deep Learning for Abstractive Code Summarization of Unofficial Documentation

要約

通常、プログラミング言語には、API、メソッド、クラスについて開発者をガイドする公式ドキュメントがあります。
しかし、研究者らは、API の学習の障壁として、不十分または不適切なドキュメントの例と API の複雑な構造の欠陥を特定しました。
その結果、開発者は API について詳しく知るために他のソース (StackOverflow、GitHub など) を参照する可能性があります。
最近の調査研究では、非公式ドキュメントがコードの概要を生成するための貴重な情報源であることがわかっています。
したがって、私たちは、非公式ドキュメントで説明されている API の高品質な概要を生成するために、このような種類のドキュメントをディープ ラーニング技術とともに活用することに意欲的に取り組んできました。
このペーパーでは、StackOverflow で説明されている API の概要を生成する、最先端のトランスフォーマー モデルである BART アルゴリズムを使用した自動アプローチを提案します。
私たちは人間が生成した要約のオラクルを構築し、テキスト要約で最も広く使用されている評価指標である ROUGE および BLEU 指標を使用して、それに対するアプローチを評価しました。
さらに、私たちは要約を質の点で以前の研究と比較して経験的に評価しました。
私たちの調査結果は、深層学習アルゴリズムを使用すると概要の品質が向上し、精度で %57、再現率で %66、F 値で平均 %61 という以前の作業よりも優れたパフォーマンスを示し、実行速度が 4.4 倍高速であることを示しています。

要約(オリジナル)

Usually, programming languages have official documentation to guide developers with APIs, methods, and classes. However, researchers identified insufficient or inadequate documentation examples and flaws with the API’s complex structure as barriers to learning an API. As a result, developers may consult other sources (StackOverflow, GitHub, etc.) to learn more about an API. Recent research studies have shown that unofficial documentation is a valuable source of information for generating code summaries. We, therefore, have been motivated to leverage such a type of documentation along with deep learning techniques towards generating high-quality summaries for APIs discussed in informal documentation. This paper proposes an automatic approach using the BART algorithm, a state-of-the-art transformer model, to generate summaries for APIs discussed in StackOverflow. We built an oracle of human-generated summaries to evaluate our approach against it using ROUGE and BLEU metrics which are the most widely used evaluation metrics in text summarization. Furthermore, we evaluated our summaries empirically against a previous work in terms of quality. Our findings demonstrate that using deep learning algorithms can improve summaries’ quality and outperform the previous work by an average of %57 for Precision, %66 for Recall, and %61 for F-measure, and it runs 4.4 times faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google