The Future of Open Human Feedback

要約

言語言語モデル (LLM) との会話に対する人間のフィードバックは、これらのシステムが世界について学習し、機能を向上させ、望ましい安全な動作に向けて誘導される方法の中心となります。
ただし、このフィードバックはほとんどがフロンティア AI ラボによって収集され、密室で保管されます。
この研究では、AI に対する人間のフィードバックのオープン エコシステムを実現するための機会と課題を評価するために、学際的な専門家を集めています。
私たちはまず、ピアプロダクション、オープンソース、および市民科学コミュニティで成功している実践を探します。
次に、人間によるオープンなフィードバックに対する主な課題を特徴づけます。
それぞれについて、現在のアプローチを調査し、推奨事項を提供します。
最後に、持続可能でオープンなヒューマン フィードバック エコシステムを支えるために必要なコンポーネントを構想します。
このエコシステムの中心には、ユーザーと特殊なモデルの間の相互に有益なフィードバック ループがあり、モデル トレーナーとフィードバック プロバイダーの多様な利害関係者コミュニティが一般的なオープン フィードバック プールをサポートするよう促しています。

要約(オリジナル)

Human feedback on conversations with language language models (LLMs) is central to how these systems learn about the world, improve their capabilities, and are steered toward desirable and safe behaviors. However, this feedback is mostly collected by frontier AI labs and kept behind closed doors. In this work, we bring together interdisciplinary experts to assess the opportunities and challenges to realizing an open ecosystem of human feedback for AI. We first look for successful practices in peer production, open source, and citizen science communities. We then characterize the main challenges for open human feedback. For each, we survey current approaches and offer recommendations. We end by envisioning the components needed to underpin a sustainable and open human feedback ecosystem. In the center of this ecosystem are mutually beneficial feedback loops, between users and specialized models, incentivizing a diverse stakeholders community of model trainers and feedback providers to support a general open feedback pool.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google