TextGrad: Automatic ‘Differentiation’ via Text

要約

AI はパラダイム シフトを迎えており、複数の大規模言語モデル (LLM) やその他の複雑なコンポーネントを統合するシステムによって画期的な進歩が達成されています。
その結果、複合 AI システム向けの原則に基づいた自動最適化手法の開発が、最も重要な新たな課題の 1 つとなっています。
ニューラル ネットワークも、バックプロパゲーションと自動微分によって最適化がターンキー化されて分野が変革されるまで、初期の頃に同様の課題に直面していました。
これに触発されて、テキストを介して自動的に「差別化」を実行する強力なフレームワークである TextGrad を紹介します。
TextGrad は、LLM によって提供されるテキスト フィードバックを逆伝播して、複合 AI システムの個々のコンポーネントを改善します。
私たちのフレームワークでは、LLM は、コード スニペットから分子構造に至るまで、計算グラフ内の変数を最適化するための豊富で一般的な自然言語の提案を提供します。
TextGrad は PyTorch の構文と抽象化に従っており、柔軟で使いやすいです。
これはさまざまなタスクにすぐに使用でき、ユーザーはフレームワークのコンポーネントやプロンプトを調整せずに目的関数のみを提供します。
質問応答や分子の最適化から放射線療法の治療計画に至るまで、さまざまな用途にわたる TextGrad の有効性と汎用性を紹介します。
フレームワークを変更することなく、TextGrad は Google 証明質問応答における GPT-4o のゼロショット精度を $51\%$ から $55\%$ に向上させ、LeetCode ハード コーディング問題解決の最適化において $20\%$ の相対的なパフォーマンス向上をもたらします。
推論のプロンプトを改善し、望ましいインシリコ結合を備えた新しいドラッグライク小分子を設計し、高い特異性を備えた放射線腫瘍治療計画を設計します。
TextGrad は、次世代 AI システムの開発を加速するための基盤を築きます。

要約(オリジナル)

AI is undergoing a paradigm shift, with breakthroughs achieved by systems orchestrating multiple large language models (LLMs) and other complex components. As a result, developing principled and automated optimization methods for compound AI systems is one of the most important new challenges. Neural networks faced a similar challenge in its early days until backpropagation and automatic differentiation transformed the field by making optimization turn-key. Inspired by this, we introduce TextGrad, a powerful framework performing automatic “differentiation” via text. TextGrad backpropagates textual feedback provided by LLMs to improve individual components of a compound AI system. In our framework, LLMs provide rich, general, natural language suggestions to optimize variables in computation graphs, ranging from code snippets to molecular structures. TextGrad follows PyTorch’s syntax and abstraction and is flexible and easy-to-use. It works out-of-the-box for a variety of tasks, where the users only provide the objective function without tuning components or prompts of the framework. We showcase TextGrad’s effectiveness and generality across a diverse range of applications, from question answering and molecule optimization to radiotherapy treatment planning. Without modifying the framework, TextGrad improves the zero-shot accuracy of GPT-4o in Google-Proof Question Answering from $51\%$ to $55\%$, yields $20\%$ relative performance gain in optimizing LeetCode-Hard coding problem solutions, improves prompts for reasoning, designs new druglike small molecules with desirable in silico binding, and designs radiation oncology treatment plans with high specificity. TextGrad lays a foundation to accelerate the development of the next-generation of AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google