Retrieval-Augmented Fine-Tuning With Preference Optimization For Visual Program Generation

要約

ビジュアルプログラミング言語（VPL）により、ユーザーはグラフィカルインターフェイスを介してプログラムを作成できるため、アクセシビリティが容易になり、さまざまなドメインでの広範な使用が行われます。
このアクセシビリティをさらに強化するために、最近の調査では、大規模な言語モデル（LLM）を使用したユーザー命令からVPLコードの生成に焦点を当てています。
具体的には、プロンプトベースの方法を採用することにより、これらの研究は有望な結果を示しています。
それにもかかわらず、このようなアプローチは、はしご図（LD）などの産業用VPLであまり効果的ではありません。
LDは、産業用自動化プロセスで使用される極めて重要な言語であり、広範なドメイン固有の構成を伴い、単一のプロンプトでキャプチャするのが困難です。
この作業では、バックボーンモデルが小さい場合でも、トレーニングベースの方法がLD生成の精度のためのプロンプトベースの方法を上回ることを実証します。
これらの調査結果に基づいて、VPLの生成をさらに強化するための2段階のトレーニング戦略を提案します。
まず、産業用VPLで一般的に見られるサブルーチンの繰り返し使用を活用するために、検索式の高度な微調整を採用しています。
第二に、グラフ編集操作を介して体系的に生成された優先ペアを使用して、モデルを正確な出力に向けてモデルをさらに導くために、直接設定最適化（DPO）を適用します。
実世界のLDデータに関する広範な実験は、私たちのアプローチが、産業の自動化を進める可能性を強調する、監視された微調整と比較して、プログラムレベルの精度を10％以上改善することを示しています。

要約(オリジナル)

Visual programming languages (VPLs) allow users to create programs through graphical interfaces, which results in easier accessibility and their widespread usage in various domains. To further enhance this accessibility, recent research has focused on generating VPL code from user instructions using large language models (LLMs). Specifically, by employing prompting-based methods, these studies have shown promising results. Nevertheless, such approaches can be less effective for industrial VPLs such as Ladder Diagram (LD). LD is a pivotal language used in industrial automation processes and involves extensive domain-specific configurations, which are difficult to capture in a single prompt. In this work, we demonstrate that training-based methods outperform prompting-based methods for LD generation accuracy, even with smaller backbone models. Building on these findings, we propose a two-stage training strategy to further enhance VPL generation. First, we employ retrieval-augmented fine-tuning to leverage the repetitive use of subroutines commonly seen in industrial VPLs. Second, we apply direct preference optimization (DPO) to further guide the model toward accurate outputs, using systematically generated preference pairs through graph editing operations. Extensive experiments on real-world LD data demonstrate that our approach improves program-level accuracy by over 10% compared to supervised fine-tuning, which highlights its potential to advance industrial automation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google