Flows: Building Blocks of Reasoning and Collaborating AI

要約

人工知能 (AI) の最近の進歩により、高度な機能と制御可能なシステムが生み出されました。
これにより、構造化された推論と、複数の AI システムと人間の間のコラボレーションの前例のない機会が生まれます。
この可能性を十分に実現するには、そのような構造化された相互作用を設計および研究するための原則に基づいた方法を開発することが不可欠です。
この目的のために、複雑な相互作用をモデル化する体系的なアプローチであるフローの概念的フレームワークを導入します。
フローは、独立した状態で、標準化されたメッセージベースのインターフェイスを通じて通信する、独立した計算の構成要素です。
このモジュール設計により、複雑さを大幅に軽減しながら、フローを任意にネストされた相互作用に再帰的に構成できます。
重要なのは、AI – AI および人間 – AI インタラクションに関する以前の研究、プロンプト エンジニアリング スキーム、ツールの拡張など、あらゆるインタラクションをこのフレームワークを使用して実装できることです。
私たちは、GPT-4 ですら困難を伴う挑戦的なタスクである競合コーディングのタスクにおけるフローの可能性を実証します。
私たちの結果は、構造化された推論とコラボレーションにより汎化が大幅に向上し、AI のみのフローでは解決率の点で +21$ 追加され、人間と AI のフローでは +54$ 絶対ポイントが追加されることを示唆しています。
迅速かつ厳密な研究をサポートするために、aiFlows ライブラリを導入します。
このライブラリには、簡単に使用、拡張し、新しいより複雑なフローを作成できるフローのリポジトリが付属しています。
aiFlows ライブラリは https://github.com/epfl-dlab/aiflows で入手できます。
実験を再現するためのデータとフローは、https://github.com/epfl-dlab/cc_flows で入手できます。

要約(オリジナル)

Recent advances in artificial intelligence (AI) have produced highly capable and controllable systems. This creates unprecedented opportunities for structured reasoning as well as collaboration among multiple AI systems and humans. To fully realize this potential, it is essential to develop a principled way of designing and studying such structured interactions. For this purpose, we introduce the conceptual framework of Flows: a systematic approach to modeling complex interactions. Flows are self-contained building blocks of computation, with an isolated state, communicating through a standardized message-based interface. This modular design allows Flows to be recursively composed into arbitrarily nested interactions, with a substantial reduction of complexity. Crucially, any interaction can be implemented using this framework, including prior work on AI–AI and human–AI interactions, prompt engineering schemes, and tool augmentation. We demonstrate the potential of Flows on the task of competitive coding, a challenging task on which even GPT-4 struggles. Our results suggest that structured reasoning and collaboration substantially improve generalization, with AI-only Flows adding +$21$ and human–AI Flows adding +$54$ absolute points in terms of solve rate. To support rapid and rigorous research, we introduce the aiFlows library. The library comes with a repository of Flows that can be easily used, extended, and composed into novel, more complex Flows. The aiFlows library is available at https://github.com/epfl-dlab/aiflows. Data and Flows for reproducing our experiments are available at https://github.com/epfl-dlab/cc_flows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google