Applying RLAIF for Code Generation with API-usage in Lightweight LLMs

要約

AI フィードバックによる強化学習 (RLAIF) は、LLM 出力の害の軽減、テキストの要約、数学的推論の強化など、さまざまな分野で大きな可能性を示しています。
このペーパーでは、軽量 (<1B パラメーター) LLM のコード生成能力を向上させるための RLAIF フレームワークを紹介します。 特に、適切な API 呼び出しを記述する必要があるコード生成タスクに重点を置いていますが、LLM の幻覚というよく知られた問題があるため、これは困難です。 私たちのフレームワークは、特殊なプロンプト戦略を通じて大規模な LLM (GPT-3.5 など) から AI フィードバックを抽出し、このデータを使用して、小規模な LLM からのより良い調整に向けて報酬モデルをトレーニングします。 私たちは、Gorilla データセットで実験を実行し、AST、ROUGE、Code-BLEU などのさまざまな指標にわたってモデル生成コードの品質を綿密に評価し、その実行可能率を正確に計算するパイプラインを開発します。 私たちのアプローチにより、微調整された LLM ベースラインのパフォーマンスが大幅に向上し、実行可能率が 4.5% 向上しました。 特に、RLAIF でトレーニングされた小規模な LLM モデル (7 億 8,000 万パラメーター) は、7B パラメーターを備えたはるかに大規模な微調整されたベースラインを上回り、1.0% 高いコード実行率を達成しています。

要約(オリジナル)

Reinforcement Learning from AI Feedback (RLAIF) has demonstrated significant potential across various domains, including mitigating harm in LLM outputs, enhancing text summarization, and mathematical reasoning. This paper introduces an RLAIF framework for improving the code generation abilities of lightweight (<1B parameters) LLMs. We specifically focus on code generation tasks that require writing appropriate API calls, which is challenging due to the well-known issue of hallucination in LLMs. Our framework extracts AI feedback from a larger LLM (e.g., GPT-3.5) through a specialized prompting strategy and uses this data to train a reward model towards better alignment from smaller LLMs. We run our experiments on the Gorilla dataset and meticulously assess the quality of the model-generated code across various metrics, including AST, ROUGE, and Code-BLEU, and develop a pipeline to compute its executability rate accurately. Our approach significantly enhances the fine-tuned LLM baseline's performance, achieving a 4.5% improvement in executability rate. Notably, a smaller LLM model (780M parameters) trained with RLAIF surpasses a much larger fine-tuned baseline with 7B parameters, achieving a 1.0% higher code executability rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google