Read between the lines — Functionality Extraction From READMEs

要約

テキストの要約はよく知られた NLP タスクですが、このホワイト ペーパーでは、Git README ファイルからの機能抽出と呼ばれる、その新​​しくて便利なバリエーションを紹介します。
このタスクは抽象レベルでの text2text 生成ですが、独自の特殊性と課題があり、既存の text2text 生成システムがあまり役に立ちません。
このタスクの背後にある動機は、コードのリファクタリングやコードの要約など、コード関連のタスクで大規模な言語モデルの使用を中心とした研究開発活動が最近急増していることに由来しています。また、FuncRead と呼ばれる人間による注釈付きのデータセットもリリースしています。
タスク用の一連のモデルを開発します。
私たちの徹底的な実験により、小規模な微調整モデルは、ChatGPT や Bard などの一般的なブラック ボックスまたはホワイト ボックスの大規模言語モデル (LLM) を使用して設計できるベースライン モデルよりも優れていることがわかりました。
当社の最適に微調整された 70 億 CodeLlama モデルは、ChatGPT と Bard に対して、それぞれ F1 スコアで 70% と 20% の向上を示しました。

要約(オリジナル)

While text summarization is a well-known NLP task, in this paper, we introduce a novel and useful variant of it called functionality extraction from Git README files. Though this task is a text2text generation at an abstract level, it involves its own peculiarities and challenges making existing text2text generation systems not very useful. The motivation behind this task stems from a recent surge in research and development activities around the use of large language models for code-related tasks, such as code refactoring, code summarization, etc. We also release a human-annotated dataset called FuncRead, and develop a battery of models for the task. Our exhaustive experimentation shows that small size fine-tuned models beat any baseline models that can be designed using popular black-box or white-box large language models (LLMs) such as ChatGPT and Bard. Our best fine-tuned 7 Billion CodeLlama model exhibit 70% and 20% gain on the F1 score against ChatGPT and Bard respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google