Coffee: Boost Your Code LLMs by Fixing Bugs with Feedback

要約

コード編集は、コード LLM から生成される重大なエラーを自動的に修正する、信頼性の高いプログラム合成を実現するための重要なステップです。
最近の研究では、クローズドソース LLM (ChatGPT および GPT-4) が、誤った入力を編集するための修正フィードバックを生成できることが実証されました。
ただし、オープンソース コード LLM がコード編集のためのフィードバックを生成することは依然として困難です。これらのモデルはフィードバックの表面的な形式に固執し、誤解を招く情報を含むフィードバックを提供する傾向があるためです。
したがって、私たちの仕事の焦点は、オープンソース コード LLM を活用して、コード編集のための正しいガイダンスを含む役立つフィードバックを生成することです。
この目的を達成するために、フィードバックを伴うコード修正用に特別に設計された収集されたデータセットである Coffee を紹介します。
このデータセットを使用して、Preference-Optimized Tuning and Selection を介した FEEDback による COde 修正のフレームワークである CoffeePots を構築します。
提案されたフレームワークは、表面的なフィードバックの潜在的なリスクを最小限に抑えながら、コード編集に役立つフィードバックを自動的に生成することを目的としています。
Coffee と CoffeePots の組み合わせは大幅な進歩を示し、HumanEvalFix ベンチマークで最先端のパフォーマンスを達成しました。
コードとモデルのチェックポイントは、https://github.com/Lune-Blue/COFFEE で公開されています。

要約(オリジナル)

Code editing is an essential step towards reliable program synthesis to automatically correct critical errors generated from code LLMs. Recent studies have demonstrated that closed-source LLMs (i.e., ChatGPT and GPT-4) are capable of generating corrective feedback to edit erroneous inputs. However, it remains challenging for open-source code LLMs to generate feedback for code editing, since these models tend to adhere to the superficial formats of feedback and provide feedback with misleading information. Hence, the focus of our work is to leverage open-source code LLMs to generate helpful feedback with correct guidance for code editing. To this end, we present Coffee, a collected dataset specifically designed for code fixing with feedback. Using this dataset, we construct CoffeePots, a framework for COde Fixing with FEEdback via Preference-Optimized Tuning and Selection. The proposed framework aims to automatically generate helpful feedback for code editing while minimizing the potential risk of superficial feedback. The combination of Coffee and CoffeePots marks a significant advancement, achieving state-of-the-art performance on HumanEvalFix benchmark. Codes and model checkpoints are publicly available at https://github.com/Lune-Blue/COFFEE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google