From Cool Demos to Production-Ready FMware: Core Challenges and a Technology Roadmap

要約

大規模な言語モデル（LLMS）などの基礎モデル（FMS）の迅速な拡張により、FMwareはコアコンポーネントとしてFMSを統合するソフトウェアシステムを獲得しました。
デモンストレーションレベルのFMwareの構築は比較的簡単ですが、生産対応システムへの移行は、信頼性、高い実装コスト、スケーラビリティ、プライバシー規制のコンプライアンスなど、多くの課題を提示します。
私たちの論文は、FMware Lifecycle EngineeringプラットフォームであるFMWare Lifecycle EngineeringプラットフォームであるHuawei Cloud、Grey文学、学術出版物、ハンドに統合されたFMARTの開発経験を含む、多様なデータソース全体でFMwareの生産における重要な課題を特定するために、半構造化されたテーマ合成を実施しています。
– エンタープライズAI（OPEA）のオープンプラットフォームへの関与、AIware会議とブートキャンプの開催、およびAIおよびデータセットのISO SPDX SBOMワーキンググループの共同リーディング。
FMの選択、データ、モデルのアラインメント、迅速なエンジニアリング、エージェントオーケストレーション、システムテスト、展開における重要な問題を特定し、メモリ管理、観察可能性、フィードバック統合などの相互に合計する懸念を特定します。
これらの課題に対処するために必要な技術と戦略について議論し、デモンストレーションシステムからスケーラブルな生産対応のFMwareソリューションへの移行を可能にする方法に関するガイダンスを提供します。
私たちの調査結果は、生産対応のFMwareの開発を促進するための継続的な研究と多業界のコラボレーションの重要性を強調しています。

要約(オリジナル)

The rapid expansion of foundation models (FMs), such as large language models (LLMs), has given rise to FMware–software systems that integrate FMs as core components. While building demonstration-level FMware is relatively straightforward, transitioning to production-ready systems presents numerous challenges, including reliability, high implementation costs, scalability, and compliance with privacy regulations. Our paper conducts a semi-structured thematic synthesis to identify the key challenges in productionizing FMware across diverse data sources including our own industry experience in developing FMArts–a FMware lifecycle engineering platform and integrating it into Huawei cloud, grey literature, academic publications, hands-on involvement in the Open Platform for Enterprise AI (OPEA), organizing the AIware conference and Bootcamp, and co-leading the ISO SPDX SBOM working group on AI and datasets. We identify critical issues in FM selection, data and model alignment, prompt engineering, agent orchestration, system testing, and deployment, alongside cross-cutting concerns such as memory management, observability, and feedback integration. We discuss needed technologies and strategies to address these challenges and offer guidance on how to enable the transition from demonstration systems to scalable, production-ready FMware solutions. Our findings underscore the importance of continued research and multi-industry collaboration to advance the development of production-ready FMware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google