TREND: Tri-teaching for Robust Preference-based Reinforcement Learning with Demonstrations

要約

ヒトまたはVLMアノテーターによって収集された優先フィードバックは、しばしば騒がしく、正確な好みラベルに依存する選好ベースの強化学習に大きな課題を提示します。
この課題に対処するために、トレンドを提案します。これは、少数のショットの専門家デモを効果的なノイズ緩和のためのトライ教徒の戦略と統合する新しいフレームワークです。
私たちのメソッドは、3つの報酬モデルを同時にトレーニングします。各モデルでは、小さな失われた好みのペアを有用な知識と見なし、パラメーターを更新するためにピアネットワークにそのような有用なペアを教えます。
驚くべきことに、私たちのアプローチには、高性能を達成するために、わずか1〜3人の専門家デモが必要です。
さまざまなロボット操作タスクの傾向を評価し、40％も高いノイズレベルでも最大90％の成功率を達成し、ノイズの多い好みのフィードバックを処理する際の効果的な堅牢性を強調しています。
プロジェクトページ：https：//shuaiyihuang.github.io/publications/trend。

要約(オリジナル)

Preference feedback collected by human or VLM annotators is often noisy, presenting a significant challenge for preference-based reinforcement learning that relies on accurate preference labels. To address this challenge, we propose TREND, a novel framework that integrates few-shot expert demonstrations with a tri-teaching strategy for effective noise mitigation. Our method trains three reward models simultaneously, where each model views its small-loss preference pairs as useful knowledge and teaches such useful pairs to its peer network for updating the parameters. Remarkably, our approach requires as few as one to three expert demonstrations to achieve high performance. We evaluate TREND on various robotic manipulation tasks, achieving up to 90% success rates even with noise levels as high as 40%, highlighting its effective robustness in handling noisy preference feedback. Project page: https://shuaiyihuang.github.io/publications/TREND.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google