Language Models as a Service: Overview of a New Paradigm and its Challenges

要約

現在、最も強力な言語モデルの一部は独自のシステムであり、(通常は制限的な) Web またはソフトウェア プログラミング インターフェイスを介してのみアクセスできます。
これは、Language-Models-as-a-Service (LMaaS) パラダイムです。
オープンソース モデルの場合のようにモデルへの完全なアクセスが利用できるシナリオとは対照的に、このような閉鎖的な言語モデルでは、評価、ベンチマーク、テストに特有の課題が生じます。
このペーパーには 2 つの目的があります。1 つは、前述の課題が LMaaS のアクセシビリティ、複製可能性、信頼性、信頼性に対する障害としてどのように作用するかを説明することです。
私たちは、これら 4 つの側面ごとに、言語モデルに関する情報の不足から生じる問題を体系的に調査します。
私たちは既存のソリューションの詳細な分析を実施し、検討された多くの推奨事項を提示し、将来の進歩の方向性を強調します。
その一方で、現在の主要な LMaaS に関する既存の知識の包括的なリソースとして機能し、インターフェイスが提供するライセンスと機能の総合的な概要を提供します。

要約(オリジナル)

Some of the most powerful language models currently are proprietary systems, accessible only via (typically restrictive) web or software programming interfaces. This is the Language-Models-as-a-Service (LMaaS) paradigm. In contrast with scenarios where full model access is available, as in the case of open-source models, such closed-off language models present specific challenges for evaluating, benchmarking, and testing them. This paper has two goals: on the one hand, we delineate how the aforementioned challenges act as impediments to the accessibility, replicability, reliability, and trustworthiness of LMaaS. We systematically examine the issues that arise from a lack of information about language models for each of these four aspects. We conduct a detailed analysis of existing solutions and put forth a number of considered recommendations, and highlight the directions for future advancements. On the other hand, it serves as a comprehensive resource for existing knowledge on current, major LMaaS, offering a synthesized overview of the licences and capabilities their interfaces offer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google