A Taxonomy of Foundation Model based Systems for Responsible-AI-by-Design

要約

ChatGPT などの大規模言語モデル (LLM) ベースのチャットボットの最近のリリースは、基礎モデルに関して大きな注目を集めています。
基礎モデルは将来の AI システムの基本的な構成要素として機能すると広く信じられています。
基礎モデルは初期段階にあるため、基礎モデルベースのシステムの設計はまだ体系的に検討されていません。
ソフトウェア アーキテクチャに基礎モデルを導入することの影響についてはほとんど理解されていません。
したがって、本稿では、基礎モデルの特性と基礎モデルベースのシステムの設計オプションを分類および比較する基礎モデルベースのシステムの分類法を提案します。
私たちの分類法は、基盤モデルの事前トレーニングと微調整、基盤モデルベースのシステムのアーキテクチャ設計、責任ある AI バイデザインの 3 つのカテゴリで構成されています。
この分類法は、基礎モデルベースのシステムを設計する際に主要な設計上の決定を下すための具体的なガイダンスを提供し、設計上の決定から生じるトレードオフを強調します。

要約(オリジナル)

The recent release of large language model (LLM) based chatbots, such as ChatGPT, has attracted significant attention on foundation models. It is widely believed that foundation models will serve as the fundamental building blocks for future AI systems. As foundation models are in their early stages, the design of foundation model based systems has not yet been systematically explored. There is little understanding about the impact of introducing foundation models in software architecture. Therefore, in this paper, we propose a taxonomy of foundation model based systems, which classifies and compares the characteristics of foundation models and design options of foundation model based systems. Our taxonomy comprises three categories: foundation model pretraining and fine-tuning, architecture design of foundation model based systems, and responsible-AI-by-design. This taxonomy provides concrete guidance for making major design decisions when designing foundation model based systems and highlights trade-offs arising from design decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google