Verbalized Machine Learning: Revisiting Machine Learning with Language Models

要約

大規模な言語モデル（LLMS）によって行われた進捗状況に動機付けられ、言葉による機械学習（VML）のフレームワークを紹介します。
通常、連続パラメーター空間で最適化された従来の機械学習（ML）モデルとは対照的に、VMLはパラメーター空間を人間の解釈可能な自然言語に制限します。
このような制約は、関数近似の新しい視点につながります。ここでは、テキストプロンプトを持つLLMは、テキストプロンプトによってパラメーター化された関数として表示できます。
この視点に導かれて、回帰や分類などの古典的なMLの問題を再検討し、これらの問題はLLMパラメーター化された学習者とオプティマイザーによって解決できることを発見しました。
VMLの主な利点には、（1）誘導バイアスの簡単なエンコードが含まれます。問題と仮説クラスに関する事前知識は、自然言語でエンコードし、LLMパラメーター化された学習者に供給できます。
（2）自動モデルクラスの選択：オプティマイザーは、データと言葉による事前知識に基づいてモデルクラスを自動的に選択でき、トレーニング中にモデルクラスを更新できます。
（3）解釈可能な学習者の更新：LLMパラメーター化されたオプティマイザーは、更新が実行される理由について説明を提供できます。
VMLの有効性を経験的に検証し、VMLがより強力な解釈可能性への足がかりの石として機能することを願っています。

要約(オリジナル)

Motivated by the progress made by large language models (LLMs), we introduce the framework of verbalized machine learning (VML). In contrast to conventional machine learning (ML) models that are typically optimized over a continuous parameter space, VML constrains the parameter space to be human-interpretable natural language. Such a constraint leads to a new perspective of function approximation, where an LLM with a text prompt can be viewed as a function parameterized by the text prompt. Guided by this perspective, we revisit classical ML problems, such as regression and classification, and find that these problems can be solved by an LLM-parameterized learner and optimizer. The major advantages of VML include (1) easy encoding of inductive bias: prior knowledge about the problem and hypothesis class can be encoded in natural language and fed into the LLM-parameterized learner; (2) automatic model class selection: the optimizer can automatically select a model class based on data and verbalized prior knowledge, and it can update the model class during training; and (3) interpretable learner updates: the LLM-parameterized optimizer can provide explanations for why an update is performed. We empirically verify the effectiveness of VML, and hope that VML can serve as a stepping stone to stronger interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google