Decoding-based Regression

要約

言語モデルは最近、数値予測がデコードされた文字列として表される回帰タスクを実行できることが示されています。
この作業では、この能力の理論的根拠を提供し、さらに、機能表現に適用される因果自己回帰シーケンスモデルの有用性を調査します。
通常の方法で訓練されているにもかかわらず – クロスエントロピー損失を介して次のトークン予測のために – デコードベースの回帰は、表形式の回帰タスクの従来のアプローチと同じように実行されますが、任意の分布をキャプチャするほど柔軟であることがわかります。
密度推定のタスク。

要約(オリジナル)

Language models have recently been shown capable of performing regression tasks wherein numeric predictions are represented as decoded strings. In this work, we provide theoretical grounds for this capability and furthermore investigate the utility of causal auto-regressive sequence models when they are applied to any feature representation. We find that, despite being trained in the usual way – for next-token prediction via cross-entropy loss – decoding-based regression is as performant as traditional approaches for tabular regression tasks, while being flexible enough to capture arbitrary distributions, such as in the task of density estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google