HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace

要約

【タイトル】
HuggingFaceのChatGPTとその仲間たちを活用したAIタスクの解決

【要約】
– 複雑なAIタスクを異なる領域や形式で解決することは、先進的な人工知能に向けた重要な一手段である。
– 異なる領域や形式の豊富なAIモデルがあるが、複雑なAIタスクを扱うことはできない。
– 大規模言語モデル（LLM）は、言語の理解、生成、相互作用、推論の能力において優れた能力を発揮しているため、既存のAIモデルを管理して複雑なAIタスクを解決するためのコントローラーとして機能することができると考えられる。
– HuggingGPTは、ChatGPTなどのLLMを活用して、Hugging Faceのマシンラーニングコミュニティ内の様々なAIモデルを接続し、AIタスクを解決するフレームワークである。
– HuggingGPTは、ユーザーの要求を受信した際にタスクプランニングを実施し、Hugging Faceで利用可能な関数の説明に従ってモデルを選択し、選択されたAIモデルで各サブタスクを実行し、実行結果に基づいて応答をまとめる。
– ChatGPTの強力な言語能力とHugging Faceの豊富なAIモデルを活用することにより、HuggingGPTは、言語、ビジョン、音声などの多様な領域や形式の多くの高度なAIタスクをカバーし、印象的な結果を達成することができる。

要約(オリジナル)

Solving complicated AI tasks with different domains and modalities is a key step toward advanced artificial intelligence. While there are abundant AI models available for different domains and modalities, they cannot handle complicated AI tasks. Considering large language models (LLMs) have exhibited exceptional ability in language understanding, generation, interaction, and reasoning, we advocate that LLMs could act as a controller to manage existing AI models to solve complicated AI tasks and language could be a generic interface to empower this. Based on this philosophy, we present HuggingGPT, a framework that leverages LLMs (e.g., ChatGPT) to connect various AI models in machine learning communities (e.g., Hugging Face) to solve AI tasks. Specifically, we use ChatGPT to conduct task planning when receiving a user request, select models according to their function descriptions available in Hugging Face, execute each subtask with the selected AI model, and summarize the response according to the execution results. By leveraging the strong language capability of ChatGPT and abundant AI models in Hugging Face, HuggingGPT is able to cover numerous sophisticated AI tasks in different modalities and domains and achieve impressive results in language, vision, speech, and other challenging tasks, which paves a new way towards advanced artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI