WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback

要約

大規模言語モデル (LLM) が進歩し続けるにつれて、これらのモデルを人間の好みに合わせることが重要な課題として浮上しています。
人間または LLM の注釈付きデータセットに依存する従来の位置合わせ方法は、リソースを大量に消費する性質、固有の主観性、モデルのバイアスを増幅するフィードバック ループのリスクによって制限されます。
これらの制限を克服するために、リアルタイムのその場でのユーザー インタラクションを活用して、本物の人間の価値観をより正確に反映する嗜好データセットを作成する新しいフレームワークである WildFeedback を導入します。
WildFeedback は、フィードバック信号の識別、嗜好データの構築、ユーザーガイドによる評価の 3 段階のプロセスを通じて動作します。
このフレームワークをユーザーと LLM の会話の大規模なコーパスに適用した結果、本物のユーザーの好みを反映する豊富な好みのデータセットが得られました。
このデータセットは、自然な会話内のフィードバック信号を特定して分類することでユーザーの好みの微妙なニュアンスを捉え、それにより、より代表的で状況に応じた調整データの構築を可能にします。
当社の広範な実験により、従来のベンチマークと当社が提案したユーザーガイドによる評価の両方で証明されているように、WildFeedback で微調整された LLM はユーザーの好みとの整合性が大幅に向上していることが実証されました。
WildFeedback は、実際のユーザーからのリアルタイムのフィードバックを組み込むことで、既存のアプローチを悩ませているスケーラビリティ、主観性、偏見の課題に対処し、ユーザーの多様で進化するニーズによりよく対応する LLM の開発に向けた重要な一歩を踏み出しました。
要約すると、WildFeedback は、LLM を人間の真の価値観に合わせるための堅牢でスケーラブルなソリューションを提供し、ユーザー中心の言語モデルの開発と評価の新しい基準を設定します。

要約(オリジナル)

As large language models (LLMs) continue to advance, aligning these models with human preferences has emerged as a critical challenge. Traditional alignment methods, relying on human or LLM annotated datasets, are limited by their resource-intensive nature, inherent subjectivity, and the risk of feedback loops that amplify model biases. To overcome these limitations, we introduce WildFeedback, a novel framework that leverages real-time, in-situ user interactions to create preference datasets that more accurately reflect authentic human values. WildFeedback operates through a three-step process: feedback signal identification, preference data construction, and user-guided evaluation. We applied this framework to a large corpus of user-LLM conversations, resulting in a rich preference dataset that reflects genuine user preferences. This dataset captures the nuances of user preferences by identifying and classifying feedback signals within natural conversations, thereby enabling the construction of more representative and context-sensitive alignment data. Our extensive experiments demonstrate that LLMs fine-tuned on WildFeedback exhibit significantly improved alignment with user preferences, as evidenced by both traditional benchmarks and our proposed user-guided evaluation. By incorporating real-time feedback from actual users, WildFeedback addresses the scalability, subjectivity, and bias challenges that plague existing approaches, marking a significant step toward developing LLMs that are more responsive to the diverse and evolving needs of their users. In summary, WildFeedback offers a robust, scalable solution for aligning LLMs with true human values, setting a new standard for the development and evaluation of user-centric language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google