Verbalized Machine Learning: Revisiting Machine Learning with Language Models

要約

大規模言語モデル (LLM) による大きな進歩を動機として、言語化機械学習 (VML) のフレームワークを紹介します。
通常、連続パラメータ空間に対して最適化される従来の機械学習モデルとは対照的に、VML はパラメータ空間を人間が解釈可能な自然言語に制約します。
このような制約は、関数近似の新しい観点につながり、テキスト プロンプトを備えた LLM は、テキスト プロンプトによってパラメーター化された関数と見なすことができます。
この観点に基づいて、回帰や分類などの古典的な機械学習の問題を再検討し、これらの問題が LLM パラメータ化された学習器とオプティマイザによって解決できることを発見します。
VML の主な利点には、(1) 帰納的バイアスのエンコードが容易であることが含まれます。問題および仮説クラスに関する事前知識を自然言語でエンコードし、LLM パラメータ化学習器に入力できます。
(2) 自動モデル クラス選択: オプティマイザーは、データと言語化された事前知識に基づいて具体的なモデル クラスを自動的に選択でき、トレーニング中にモデル クラスを更新できます。
(3) 解釈可能な学習者の更新: LLM パラメータ化オプティマイザは、各学習者の更新が実行される理由の説明を提供できます。
私たちは VML の有効性を実証的に評価するためにいくつかの研究を実施しており、VML が ML の解釈可能性と信頼性を強化するための足がかりとして機能することを期待しています。

要約(オリジナル)

Motivated by the large progress made by large language models (LLMs), we introduce the framework of verbalized machine learning (VML). In contrast to conventional machine learning models that are typically optimized over a continuous parameter space, VML constrains the parameter space to be human-interpretable natural language. Such a constraint leads to a new perspective of function approximation, where an LLM with a text prompt can be viewed as a function parameterized by the text prompt. Guided by this perspective, we revisit classical machine learning problems, such as regression and classification, and find that these problems can be solved by an LLM-parameterized learner and optimizer. The major advantages of VML include (1) easy encoding of inductive bias: prior knowledge about the problem and hypothesis class can be encoded in natural language and fed into the LLM-parameterized learner; (2) automatic model class selection: the optimizer can automatically select a concrete model class based on data and verbalized prior knowledge, and it can update the model class during training; and (3) interpretable learner updates: the LLM-parameterized optimizer can provide explanations for why each learner update is performed. We conduct several studies to empirically evaluate the effectiveness of VML, and hope that VML can serve as a stepping stone to stronger interpretability and trustworthiness in ML.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google