A Layered Architecture for Developing and Enhancing Capabilities in Large Language Model-based Software Systems

要約

大規模言語モデル (LLM) の使用を基本的な言語タスクを超えて拡大するために、多大な努力が払われてきました。
LLM の汎用性と多用途性により、広範な導入が可能になりましたが、アプリケーション開発における進化する要求は、多くの場合、本来の機能を超えています。
これらの要求を満たすには、推論温度の調整や創造性を刺激するプロンプトを通じて創造性を高めるなど、さまざまな方法が必要になる場合があります。
方法が異なるとエンジニアリングの複雑さ、拡張性、運用コストのトレードオフが生じるため、適切なアプローチを選択することが重要です。
このペーパーでは、LLM ソフトウェア システム開発を、それぞれが特定の属性によって特徴づけられる個別のレイヤーに編成するレイヤード アーキテクチャを紹介します。
機能をこれらのレイヤーと調整することで、フレームワークは、最終的に必要な機能と品質をサポートする効果的かつ効率的な方法で機能を体系的に実装することを促進します。
実際のケーススタディを通じて、フレームワークの有用性を説明します。
この成果は、LLM ベースのソフトウェア システム開発で適切なテクノロジを選択し、堅牢性と拡張性を促進するための実用的な洞察を開発者に提供します。

要約(オリジナル)

Significant efforts has been made to expand the use of Large Language Models (LLMs) beyond basic language tasks. While the generalizability and versatility of LLMs have enabled widespread adoption, evolving demands in application development often exceed their native capabilities. Meeting these demands may involve a diverse set of methods, such as enhancing creativity through either inference temperature adjustments or creativity-provoking prompts. Selecting the right approach is critical, as different methods lead to trade-offs in engineering complexity, scalability, and operational costs. This paper introduces a layered architecture that organizes LLM software system development into distinct layers, each characterized by specific attributes. By aligning capabilities with these layers, the framework encourages the systematic implementation of capabilities in effective and efficient ways that ultimately supports desired functionalities and qualities. Through practical case studies, we illustrate the utility of the framework. This work offers developers actionable insights for selecting suitable technologies in LLM-based software system development, promoting robustness and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google