Truthful Aggregation of LLMs with an Application to Online Advertising

要約

オンライン プラットフォームは、独自のコンテンツと一緒に広告を表示することで、年間数千億ドルの収益を生み出しています。
現在、これらのプラットフォームは大規模言語モデル (LLM) をサービスに統合しています。
このため、LLM が生成するコンテンツから収益を生み出すことが、オンライン広告における次の大きな課題となっています。
私たちは、広告主が LLM の反応に影響を与えて自分たちの利益に合わせようとするのに対し、プラットフォームは広告主の価値を最大化し、ユーザーの満足度を確保しようとするシナリオを考えます。
この問題に対して、LLM の微調整やモデルの重みへのアクセスなしで動作し、計算リソースが増加するにつれてプラットフォームの目的に合わせて最適に微調整された LLM の出力に収束するオークション メカニズムを導入します。
私たちのメカニズムは、広告主にとって真実の報道が主要な戦略であることを保証し、各広告主の有用性と社会福祉への貢献を連携させます。これは長期的な存続に不可欠な機能です。
さらに、広告主に関するコンテキスト情報を組み込むことができるため、コンバージェンスが大幅に加速されます。
公開されている LLM を用いた実験により、私たちのメカニズムが低い計算オーバーヘッドで広告主の価値とプラットフォームの収益を大幅に向上させることを示しました。
私たちの動機となるアプリケーションはオンライン広告ですが、私たちのメカニズムは金銭送金を伴うあらゆる状況に適用でき、LLM が生成する返信よりも利己的なエージェントの好みを真実に集約するための汎用ソリューションになります。

要約(オリジナル)

Online platforms generate hundreds of billions of dollars in revenue per year by showing advertisements alongside their own content. Currently, these platforms are integrating Large Language Models (LLMs) into their services. This makes revenue generation from LLM-generated content the next major challenge in online advertising. We consider a scenario where advertisers aim to influence the responses of an LLM to align with their interests, while platforms seek to maximize advertiser value and ensure user satisfaction. We introduce an auction mechanism for this problem that operates without LLM fine-tuning or access to model weights and provably converges to the output of the optimally fine-tuned LLM for the platform’s objective as computational resources increase. Our mechanism ensures that truthful reporting is a dominant strategy for advertisers and it aligns each advertiser’s utility with their contribution to social welfare – an essential feature for long-term viability. Additionally, it can incorporate contextual information about the advertisers, significantly accelerating convergence. Via experiments with a publicly available LLM, we show that our mechanism significantly boosts advertiser value and platform revenue, with low computational overhead. While our motivating application is online advertising, our mechanism can be applied in any setting with monetary transfers, making it a general-purpose solution for truthfully aggregating the preferences of self-interested agents over LLM-generated replies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google