TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs

要約

最近、人工知能 (AI) は目覚ましい進歩を遂げています。
一方では、ChatGPT のような高度な基盤モデルは、幅広いオープン ドメイン タスクで強力な会話、コンテキスト内学習、およびコード生成機能を提供できます。
また、習得した常識的な知識に基づいて、ドメイン固有のタスクの高レベルのソリューション アウトラインを生成することもできます。
ただし、事前トレーニング中に十分なドメイン固有のデータが不足しているか、正確な実行が必要なタスクのニューラル ネットワーク計算でエラーが発生することが多いため、一部の特殊なタスクでは依然として困難に直面しています。
一方、一部のドメイン固有のタスクを非常にうまく実行できる既存のモデルやシステム (シンボリック ベースまたはニューラル ベース) も多数あります。
ただし、実装または動作メカニズムが異なるため、簡単にアクセスしたり、基盤モデルと互換性を保ったりすることはできません。
したがって、基盤モデルを活用してタスク ソリューションの概要を提案し、概要に含まれるサブタスクの一部を、特別な機能を備えた既製のモデルおよびシステムに自動的に一致させて完了するメカニズムが、明らかに差し迫った必要性があります。
彼ら。
これに着想を得て、基礎モデルを数百万の API と接続してタスクを完了する新しい AI エコシステムとして、TaskMatrix.AI を導入します。
単一の AI モデルの改善を目的としたこれまでのほとんどの研究とは異なり、TaskMatrix.AI は、既存の基盤モデル (脳のような中央システムとして) と他の AI モデルおよびシステムの API (サブタスク ソルバーとして) を使用して、多様化を達成することに重点を置いています。
デジタル領域と物理領域の両方でのタスク。
方針書として、このようなエコシステムを構築する方法についてのビジョンを提示し、各主要コンポーネントを説明し、スタディ ケースを使用して、このビジョンの実現可能性と次に対処する必要がある主な課題の両方を示します。

要約(オリジナル)

Artificial Intelligence (AI) has made incredible progress recently. On the one hand, advanced foundation models like ChatGPT can offer powerful conversation, in-context learning and code generation abilities on a broad range of open-domain tasks. They can also generate high-level solution outlines for domain-specific tasks based on the common sense knowledge they have acquired. However, they still face difficulties with some specialized tasks because they lack enough domain-specific data during pre-training or they often have errors in their neural network computations on those tasks that need accurate executions. On the other hand, there are also many existing models and systems (symbolic-based or neural-based) that can do some domain-specific tasks very well. However, due to the different implementation or working mechanisms, they are not easily accessible or compatible with foundation models. Therefore, there is a clear and pressing need for a mechanism that can leverage foundation models to propose task solution outlines and then automatically match some of the sub-tasks in the outlines to the off-the-shelf models and systems with special functionalities to complete them. Inspired by this, we introduce TaskMatrix.AI as a new AI ecosystem that connects foundation models with millions of APIs for task completion. Unlike most previous work that aimed to improve a single AI model, TaskMatrix.AI focuses more on using existing foundation models (as a brain-like central system) and APIs of other AI models and systems (as sub-task solvers) to achieve diversified tasks in both digital and physical domains. As a position paper, we will present our vision of how to build such an ecosystem, explain each key component, and use study cases to illustrate both the feasibility of this vision and the main challenges we need to address next.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google