LARCH: Large Language Model-based Automatic Readme Creation with Heuristics

要約

Readme の作成は、プログラム コードの管理と再利用において重要な役割を果たすため、ソフトウェア開発の重要な側面です。
これは多くの開発者にとって悩みの種ではありますが、自動作成には、数千行のコードから抽象的な記述を生成する必要があるため、大規模言語モデル (LLM) が最近進歩したにもかかわらず、依然として課題が残っています。
このデモ ペーパーでは、リポジトリを表すコード フラグメントを特定できれば、LLM が一貫した事実に基づいた Readme を生成できることを示します。
この発見に基づいて、ヒューリスティックと弱い監視による代表的なコード識別を活用する LARCH (LLM ベースのヒューリスティックによる自動 Readme 作成) を開発しました。
人間による自動評価を通じて、LARCH はほとんどのケースで一貫性があり、事実に基づいて正しい Readme を生成でき、代表的なコードの識別に依存しないベースラインを上回るパフォーマンスを示します。
私たちは LARCH をオープンソースにし、https://github.com/hitachi-nlp/larch からアクセスできるクロスプラットフォームの Visual Studio Code インターフェイスとコマンドライン インターフェイスを提供しました。
LARCH の機能を紹介するデモ ビデオは、https://youtu.be/ZUKkh5ED-O4 でご覧いただけます。

要約(オリジナル)

Writing a readme is a crucial aspect of software development as it plays a vital role in managing and reusing program code. Though it is a pain point for many developers, automatically creating one remains a challenge even with the recent advancements in large language models (LLMs), because it requires generating an abstract description from thousands of lines of code. In this demo paper, we show that LLMs are capable of generating a coherent and factually correct readmes if we can identify a code fragment that is representative of the repository. Building upon this finding, we developed LARCH (LLM-based Automatic Readme Creation with Heuristics) which leverages representative code identification with heuristics and weak supervision. Through human and automated evaluations, we illustrate that LARCH can generate coherent and factually correct readmes in the majority of cases, outperforming a baseline that does not rely on representative code identification. We have made LARCH open-source and provided a cross-platform Visual Studio Code interface and command-line interface, accessible at https://github.com/hitachi-nlp/larch. A demo video showcasing LARCH’s capabilities is available at https://youtu.be/ZUKkh5ED-O4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google