LLMs as Function Approximators: Terminology, Taxonomy, and Questions for Evaluation

要約

自然言語処理は、特定のタスクのモデリングから、より一般的な事前トレーニング済みモデルを取得し、特定のタスクに合わせて微調整することへとかなり急速に移行し、現在では本質的に汎用的なモデルと思われるモデルが完成しました。
この論文は、これらのモデルがモデル化しているものについての結果としての明確性の喪失が、その長所と短所を評価するのに役立たない「汎用人工知能」のような比喩につながると主張しています。
この提案は、自然言語仕様に基づいて、専門家の機能を近似する機能の一般性と潜在的な価値を確認することです。
この枠組みにより、近似の品質の問題が浮き彫りになりますが、それを超えて、これらの関数の発見可能性、安定性、および保護可能性の問題も生じます。
この論文で示されるように、この枠組みは、実用的および理論的観点の両方からの評価のさまざまな側面だけでなく、二次的な地位に追いやられがちな質問 (「即時注入」や「脱獄」など) も 1 つの概念的な枠組みにまとめています。
）。

要約(オリジナル)

Natural Language Processing has moved rather quickly from modelling specific tasks to taking more general pre-trained models and fine-tuning them for specific tasks, to a point where we now have what appear to be inherently generalist models. This paper argues that the resultant loss of clarity on what these models model leads to metaphors like ‘artificial general intelligences’ that are not helpful for evaluating their strengths and weaknesses. The proposal is to see their generality, and their potential value, in their ability to approximate specialist function, based on a natural language specification. This framing brings to the fore questions of the quality of the approximation, but beyond that, also questions of discoverability, stability, and protectability of these functions. As the paper will show, this framing hence brings together in one conceptual framework various aspects of evaluation, both from a practical and a theoretical perspective, as well as questions often relegated to a secondary status (such as ‘prompt injection’ and ‘jailbreaking’).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google