Distilled GPT for Source Code Summarization

要約

コードの概要は、ソース コードを自然言語で簡単に説明したものです。
概要は通常、たった 1 文の長さですが、開発者ドキュメントのバックボーンを形成します。
「表示されているすべてのポリゴンを青色に変更する」などの短い説明によって、プログラマーはコード自体を読む手間をかけずに、コードが何を行うかについての高度なアイデアを得ることができます。
最近、ChatGPT などの大規模言語モデルに基づく製品は、これらの記述を自動的に作成する強力な機能を実証しています。
ただし、これらのツールを使用するには、プログラマーは、処理のために信頼できないサードパーティにコードを送信する必要があります (API 呼び出しなどを介して)。
このような監護権の喪失は、多くの組織にとって容認できません。
このペーパーでは、知識の蒸留に関連するプロセスで GPT-3.5 によって生成されたサンプル出力を使用してオープンソース モデルをトレーニングするという代替案を紹介します。
私たちのモデルは、単一の 16 GB GPU で実行できるほど十分小さい (パラメーター 350m) ものの、評価では、このタスクで GPT-3.5 を模倣するのに十分な大きさであることが示されています。

要約(オリジナル)

A code summary is a brief natural language description of source code. Summaries are usually only a single sentence long, and yet form the backbone of developer documentation. A short descriptions such as ‘changes all visible polygons to the color blue’ can give a programmer a high-level idea of what code does without the effort of reading the code itself. Recently, products based on Large Language Models such as ChatGPT have demonstrated a strong ability to write these descriptions automatically. However, to use these tools, programmers must send their code to untrusted third parties for processing (e.g., via an API call). This loss of custody is not acceptable to many organizations. In this paper, we present an alternative: we train an open source model using sample output generated by GPT-3.5 in a process related to knowledge distillation. Our model is small enough (350m parameters) to be run on a single 16gb GPU, yet we show in our evaluation that it is large enough to mimic GPT-3.5 on this task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google