The ARRT of Language-Models-as-a-Service: Overview of a New Paradigm and its Challenges

要約

現在、最も強力な言語モデルの一部は独自のシステムであり、(通常は制限的な) Web またはソフトウェア プログラミング インターフェイスを介してのみアクセスできます。
これは、Language-Models-as-a-Service (LMaaS) パラダイムです。
オープンソース モデルの場合のようにモデルへの完全なアクセスが利用できるシナリオとは対照的に、このような閉鎖的な言語モデルでは、評価、ベンチマーク、テストに特有の課題が生じます。
このペーパーには 2 つの目的があります。1 つは、前述の課題が LMaaS のアクセシビリティ、複製可能性、信頼性、および信頼性 (ARRT) に対する障害としてどのように作用するかを説明することです。
私たちは、これら 4 つの側面ごとに、言語モデルに関する情報の不足から生じる問題を体系的に調査します。
現在のソリューションに光を当て、いくつかの推奨事項を提供し、将来の進歩の方向性を強調します。
その一方で、現在の主要な LMaaS に関する既存の知識のワンストップ ショップとして機能し、インターフェイスが提供するライセンスと機能の総合的な概要を提供します。

要約(オリジナル)

Some of the most powerful language models currently are proprietary systems, accessible only via (typically restrictive) web or software programming interfaces. This is the Language-Models-as-a-Service (LMaaS) paradigm. Contrasting with scenarios where full model access is available, as in the case of open-source models, such closed-off language models create specific challenges for evaluating, benchmarking, and testing them. This paper has two goals: on the one hand, we delineate how the aforementioned challenges act as impediments to the accessibility, replicability, reliability, and trustworthiness (ARRT) of LMaaS. We systematically examine the issues that arise from a lack of information about language models for each of these four aspects. We shed light on current solutions, provide some recommendations, and highlight the directions for future advancements. On the other hand, it serves as a one-stop-shop for the extant knowledge about current, major LMaaS, offering a synthesized overview of the licences and capabilities their interfaces offer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google