Challenges and Future Directions of Data-Centric AI Alignment

要約

AIシステムがますます能力が高く影響力が高まるにつれて、人間の価値、好み、目標との整合性を確保することが重要な研究の焦点になりました。
現在のアライメント方法は、主にアルゴリズムと損失関数の設計に焦点を当てていますが、多くの場合、データの重要な役割を過小評価しています。
このペーパーでは、データ中心のAIアライメントへのシフトを提唱し、AIシステムの調整に使用されるデータの品質と代表性を高める必要性を強調しています。
このポジションペーパーでは、データ中心のアライメントフレームワーク内のヒトベースとAIベースのフィードバックの両方に関連する重要な課題を強調します。
定性分析を通じて、人間のフィードバックにおける信頼性の信頼性の複数のソース、および時間的ドリフト、コンテキスト依存、およびAIベースのフィードバックに関連する問題は、固有のモデルの制限のために人間の価値をキャプチャできないことを特定します。
改善されたフィードバック収集慣行、堅牢なデータクリーニング方法、および厳密なフィードバック検証プロセスなど、将来の研究の方向性を提案します。
これらの重要な方向性の将来の研究を要求して、データ中心のアライメントプラクティスの理解と改善に持続するギャップに対処します。

要約(オリジナル)

As AI systems become increasingly capable and influential, ensuring their alignment with human values, preferences, and goals has become a critical research focus. Current alignment methods primarily focus on designing algorithms and loss functions but often underestimate the crucial role of data. This paper advocates for a shift towards data-centric AI alignment, emphasizing the need to enhance the quality and representativeness of data used in aligning AI systems. In this position paper, we highlight key challenges associated with both human-based and AI-based feedback within the data-centric alignment framework. Through qualitative analysis, we identify multiple sources of unreliability in human feedback, as well as problems related to temporal drift, context dependence, and AI-based feedback failing to capture human values due to inherent model limitations. We propose future research directions, including improved feedback collection practices, robust data-cleaning methodologies, and rigorous feedback verification processes. We call for future research into these critical directions to ensure, addressing gaps that persist in understanding and improving data-centric alignment practices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google