A Taxonomy of Foundation Model based Systems through the Lens of Software Architecture

要約

ChatGPT などの大規模言語モデル (LLM) ベースのチャットボットの最近のリリースは、基盤モデルに大きな関心を集めています。
基礎モデルは将来の AI システムの基本的な構成要素として機能すると広く信じられています。
基礎モデルは初期段階にあるため、基礎モデルベースのシステムの設計はまだ体系的に検討されていません。
ソフトウェア アーキテクチャに基盤モデルを導入することの影響については、十分な理解がありません。
したがって、本稿では、基礎モデルの特性と基礎モデルベースのシステムの設計オプションを分類および比較する基礎モデルベースのシステムの分類法を提案します。
私たちの分類法は、基礎モデルの事前トレーニングと適応、基礎モデルベースのシステムのアーキテクチャ設計、責任ある AI バイデザインの 3 つのカテゴリで構成されています。
この分類法は、基礎モデルベースのシステムを設計する際に、主要なアーキテクチャ設計上の決定を行うための具体的なガイダンスとして機能し、設計上の決定から生じるトレードオフを浮き彫りにすることができます。

要約(オリジナル)

The recent release of large language model (LLM) based chatbots, such as ChatGPT, has attracted huge interest in foundation models. It is widely believed that foundation models will serve as the fundamental building blocks for future AI systems. As foundation models are in their early stages, the design of foundation model based systems has not yet been systematically explored. There is limited understanding about the impact of introducing foundation models in software architecture. Therefore, in this paper, we propose a taxonomy of foundation model based systems, which classifies and compares the characteristics of foundation models and design options of foundation model based systems. Our taxonomy comprises three categories: the pretraining and adaptation of foundation models, the architecture design of foundation model based systems, and responsible-AI-by-design. This taxonomy can serve as concrete guidance for making major architectural design decisions when designing foundation model based systems and highlights trade-offs arising from design decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google