PyGen: A Collaborative Human-AI Approach to Python Package Creation

要約

自動化と革新の原則は、現代の科学技術の進歩の基礎的な要素として機能します。
ここでは、研究者、技術者、愛好家がPythonで書かれたコアで使用可能なソフトウェアツールとして抽象的なアイデアを実現できるように設計された自動化プラットフォームであるPygenを紹介します。
ピーゲンは、自己回帰の大手言語モデルの計り知れない力を活用して、アイデア、イテレーション、イノベーションプロセス中に人間の創造性を増強します。
最先端の言語モデルとオープンソースコード生成テクノロジーを組み合わせることにより、Pygenはツール開発の手動オーバーヘッドを大幅に削減しました。
ユーザープロンプトから、Pygenは、コンセプトからパッケージの生成とドキュメントまで、完全なワークフローのためにPythonパッケージを自動的に生成します。
私たちの作品の調査結果は、Pygenがさまざまな専門的な目的で回復力、モジュール式、および十分に文書化されたパッケージの作成を可能にすることにより、研究者の生産性を大幅に向上させることを示しています。
ユーザーのパッケージの説明をますます具体的かつ実用的に蒸留するために、迅速な強化アプローチを採用しています。
本質的に自由回答形式のタスクである一方で、結果セクションで詳細な結果を使用して、人間の評価、LLMベースの評価、およびCodebleuを使用して、生成されたパッケージとドキュメントを評価しました。
さらに、結果を文書化し、制限を分析し、それらを軽減するための戦略を提案しました。
Pygenは、倫理的自動化のビジョンであり、包括性、アクセシビリティ、および共同開発を促進するフレームワークです。
このプロジェクトは、インテリジェントエージェントが人間と協力して科学的および技術開発を大幅に改善するツールを作成するための大規模な取り組みの始まりを示しています。
私たちのコードと生成された例は、[https://github.com/gitssaikat/pygen]でオープンソースを受けています。

要約(オリジナル)

The principles of automation and innovation serve as foundational elements for advancement in contemporary science and technology. Here, we introduce Pygen, an automation platform designed to empower researchers, technologists, and hobbyists to bring abstract ideas to life as core, usable software tools written in Python. Pygen leverages the immense power of autoregressive large language models to augment human creativity during the ideation, iteration, and innovation process. By combining state-of-the-art language models with open-source code generation technologies, Pygen has significantly reduced the manual overhead of tool development. From a user prompt, Pygen automatically generates Python packages for a complete workflow from concept to package generation and documentation. The findings of our work show that Pygen considerably enhances the researcher’s productivity by enabling the creation of resilient, modular, and well-documented packages for various specialized purposes. We employ a prompt enhancement approach to distill the user’s package description into increasingly specific and actionable. While being inherently an open-ended task, we have evaluated the generated packages and the documentation using Human Evaluation, LLM-based evaluation, and CodeBLEU, with detailed results in the results section. Furthermore, we documented our results, analyzed the limitations, and suggested strategies to alleviate them. Pygen is our vision of ethical automation, a framework that promotes inclusivity, accessibility, and collaborative development. This project marks the beginning of a large-scale effort towards creating tools where intelligent agents collaborate with humans to improve scientific and technological development substantially. Our code and generated examples are open-sourced at [https://github.com/GitsSaikat/Pygen]

arxiv情報

提供元, 利用サービス

arxiv.jp, Google