要約
コード要約とは、ソースコードを自然言語で簡潔に記述したものです。要約は通常1文の長さしかありませんが、開発者のドキュメンテーションのバックボーンを形成します。目に見えるすべてのポリゴンを青色に変更する」といった短い説明は、プログラマに、コードそのものを読む労力なしに、コードが何をするのかのハイレベルなアイデアを与えることができる。最近、ChatGPTのような大規模言語モデルに基づく製品が、このような記述を自動的に記述する強力な能力を実証しています。しかし、これらのツールを使用するためには、プログラマは自分のコードを信頼できないサードパーティに送り、（例えばAPIコールを介して）処理してもらわなければなりません。この親権の喪失は、多くの組織にとって受け入れられるものではない。GPT-3.5によって生成されたサンプル出力を使って、知識の蒸留に関連するプロセスでオープンソースのモデルをトレーニングする。我々のモデルは、16GBのGPUで実行できるほど小さい（350mパラメータ）にもかかわらず、このタスクでGPT-3.5を模倣するのに十分な大きさであることを評価で示す。
要約(オリジナル)
A code summary is a brief natural language description of source code. Summaries are usually only a single sentence long, and yet form the backbone of developer documentation. A short descriptions such as ‘changes all visible polygons to the color blue’ can give a programmer a high-level idea of what code does without the effort of reading the code itself. Recently, products based on Large Language Models such as ChatGPT have demonstrated a strong ability to write these descriptions automatically. However, to use these tools, programmers must send their code to untrusted third parties for processing (e.g., via an API call). This loss of custody is not acceptable to many organizations. In this paper, we present an alternative: we train an open source model using sample output generated by GPT-3.5 in a process related to knowledge distillation. Our model is small enough (350m parameters) to be run on a single 16gb GPU, yet we show in our evaluation that it is large enough to mimic GPT-3.5 on this task.
arxiv情報
| 著者 | Chia-Yi Su,Collin McMillan |
| 発行日 | 2024-02-05 18:47:42+00:00 |
| arxivサイト | arxiv_id(pdf) |