Assessing Economic Viability: A Comparative Analysis of Total Cost of Ownership for Domain-Adapted Large Language Models versus State-of-the-art Counterparts in Chip Design Coding Assistance

要約

このペーパーでは、ドメインに適応した大規模言語モデル (LLM) と最先端 (SoTA) LLM の間の総所有コスト (TCO) とパフォーマンスの比較分析を示し、特にコーディング支援に関連するタスクに重点を置きます。
チップの設計。
ドメイン適応型 LLM ChipNeMo の TCO とパフォーマンス メトリクスを、2 つの主要な LLM、Claude 3 Opus および ChatGPT-4 Turbo と比較して検証し、チップ設計コーディング生成におけるそれらの有効性を評価します。
この調査は、モデルの精度、トレーニング方法、運用コストの詳細な評価を通じて、利害関係者に、特定のニーズに合わせて最も経済的に実行可能でパフォーマンス効率の高いソリューションを選択するための重要な情報を提供することを目的としています。
私たちの結果は、ChipNeMo などのドメイン適応モデルを採用する利点を強調しており、汎用モデルと比較してコストを大幅に削減しながらパフォーマンスが向上しています。
特に、ドメインに適応した LLM が TCO を約 90% ～ 95% 削減する可能性があり、導入規模が拡大するにつれてコスト上の利点がますます明らかになることを明らかにします。
導入の拡大に伴い、ChipNeMo のコスト上の利点がより顕著になり、LLM によってサポートされる実質的なコーディング ニーズを持つ組織にとって、ドメイン適応型 LLM が魅力的な選択肢になります。

要約(オリジナル)

This paper presents a comparative analysis of total cost of ownership (TCO) and performance between domain-adapted large language models (LLM) and state-of-the-art (SoTA) LLMs , with a particular emphasis on tasks related to coding assistance for chip design. We examine the TCO and performance metrics of a domain-adaptive LLM, ChipNeMo, against two leading LLMs, Claude 3 Opus and ChatGPT-4 Turbo, to assess their efficacy in chip design coding generation. Through a detailed evaluation of the accuracy of the model, training methodologies, and operational expenditures, this study aims to provide stakeholders with critical information to select the most economically viable and performance-efficient solutions for their specific needs. Our results underscore the benefits of employing domain-adapted models, such as ChipNeMo, that demonstrate improved performance at significantly reduced costs compared to their general-purpose counterparts. In particular, we reveal the potential of domain-adapted LLMs to decrease TCO by approximately 90%-95%, with the cost advantages becoming increasingly evident as the deployment scale expands. With expansion of deployment, the cost benefits of ChipNeMo become more pronounced, making domain-adaptive LLMs an attractive option for organizations with substantial coding needs supported by LLMs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google