Beyond the Hype: Embeddings vs. Prompting for Multiclass Classification Tasks

要約

従来の分類アプローチは、このAI誇大広告の時代には無関係ですか？
予測モデルがLLMプロンプトベースのフレームワークを全体的に上回るマルチクラス分類の問題があることを示します。
Thumbtackの顧客が提供するHome-Serviceプロジェクトの説明からのテキストと画像が与えられた場合、各問題の説明に関連するプロフェッショナルカテゴリ（便利屋、バスルームの改造）を予測する埋め込みベースのソフトマックスモデルを構築します。
次に、最先端のLLMモデルに同じ問題を解決するように依頼するプロンプトと比較します。
埋め込みアプローチは、精度、キャリブレーション、レイテンシ、および財務コストの観点から、最高のLLMプロンプトよりも優れていることがわかります。
特に、Embeddingsアプローチは、プロンプトアプローチよりも49.5％高い精度を持ち、その優位性は、テキストのみ、画像のみ、およびテキストイメージの問題の説明にわたって一貫しています。
さらに、十分に調整された確率が得られ、後で信頼信号として使用して、展開中にコンテキスト化されたユーザーエクスペリエンスを提供します。
それどころか、スコアのプロンプトは無意味です。
最後に、埋め込みアプローチは、それぞれ画像とテキストを処理することをプロンプトするよりも14倍および81倍高速ですが、現実的な展開の仮定の下では、最大10倍安くなります。
これらの結果に基づいて、埋め込みアプローチのバリエーションを展開し、A/Bテストを通じてオフライン分析と一致するパフォーマンスを観察しました。
私たちの研究は、独自のデータセットを活用できるマルチクラス分類の問題では、埋め込みベースのアプローチが明確により良い結果をもたらす可能性があることを示しています。
したがって、科学者、実践者、エンジニア、およびビジネスリーダーは、私たちの研究を使用して誇大広告を超えて、分類ユースケースの適切な予測モデルを検討することができます。

要約(オリジナル)

Are traditional classification approaches irrelevant in this era of AI hype? We show that there are multiclass classification problems where predictive models holistically outperform LLM prompt-based frameworks. Given text and images from home-service project descriptions provided by Thumbtack customers, we build embeddings-based softmax models that predict the professional category (e.g., handyman, bathroom remodeling) associated with each problem description. We then compare against prompts that ask state-of-the-art LLM models to solve the same problem. We find that the embeddings approach outperforms the best LLM prompts in terms of accuracy, calibration, latency, and financial cost. In particular, the embeddings approach has 49.5% higher accuracy than the prompting approach, and its superiority is consistent across text-only, image-only, and text-image problem descriptions. Furthermore, it yields well-calibrated probabilities, which we later use as confidence signals to provide contextualized user experience during deployment. On the contrary, prompting scores are overly uninformative. Finally, the embeddings approach is 14 and 81 times faster than prompting in processing images and text respectively, while under realistic deployment assumptions, it can be up to 10 times cheaper. Based on these results, we deployed a variation of the embeddings approach, and through A/B testing we observed performance consistent with our offline analysis. Our study shows that for multiclass classification problems that can leverage proprietary datasets, an embeddings-based approach may yield unequivocally better results. Hence, scientists, practitioners, engineers, and business leaders can use our study to go beyond the hype and consider appropriate predictive models for their classification use cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google