Truthful Aggregation of LLMs with an Application to Online Advertising

要約

オンライン広告の次のフロンティアは、LLM生成コンテンツからの収益生成です。
広告主がLLMの応答に影響を与えて興味と一致するようにする設定を検討し、プラットフォームは広告主の価値を最大化し、ユーザーの満足度を確保しようとします。
課題は、一般に広告主の好みがユーザーの好みと矛盾しており、広告主は自分の好みを誤って宣言する可能性があることです。
これに対処するために、真実の報告が広告主にとって支配的な戦略であることを保証し、各広告主の有用性を社会福祉への貢献を確実にするオークションメカニズムであるモザイクを紹介します。
重要なことに、メカニズムはLLMの微調整またはモデルの重みへのアクセスなしで動作し、計算リソースが増加するにつれて最適に微調整されたLLMの出力に確実に収束することです。
さらに、広告主に関するコンテキスト情報を組み込むことができ、これにより社会福祉が大幅に向上します。
公開されているLLMを使用した実験を通じて、モザイクが高い広告主の価値と計算オーバーヘッドの低いプラットフォームの収益につながることを示します。
私たちのやる気のあるアプリケーションはオンライン広告ですが、私たちのメカニズムは、金銭的転送を備えたあらゆる設定で適用でき、LLMが生成した応答よりも利己的なエージェントの好みを誠実に集約するための汎用ソリューションになります。

要約(オリジナル)

The next frontier of online advertising is revenue generation from LLM-generated content. We consider a setting where advertisers aim to influence the responses of an LLM to align with their interests, while platforms seek to maximize advertiser value and ensure user satisfaction. The challenge is that advertisers’ preferences generally conflict with those of the user, and advertisers may misreport their preferences. To address this, we introduce MOSAIC, an auction mechanism that ensures that truthful reporting is a dominant strategy for advertisers and that aligns the utility of each advertiser with their contribution to social welfare. Importantly, the mechanism operates without LLM fine-tuning or access to model weights and provably converges to the output of the optimally fine-tuned LLM as computational resources increase. Additionally, it can incorporate contextual information about advertisers, which significantly improves social welfare. Through experiments with a publicly available LLM, we show that MOSAIC leads to high advertiser value and platform revenue with low computational overhead. While our motivating application is online advertising, our mechanism can be applied in any setting with monetary transfers, making it a general-purpose solution for truthfully aggregating the preferences of self-interested agents over LLM-generated replies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google