要約
人間のフィードバックから基礎モデルを微調整する方向の研究を促進するために、NeurIPS 2022 で人間のフィードバックからの微調整に関する MineRL BASALT コンペティションを開催しました。
-Minecraft での報酬関数を指定します。
このコンペを通じて、人間のフィードバックをチャネルとして望ましい行動を学習するアルゴリズムの開発を促進することを目指しました。
競合について説明し、上位のソリューションの概要を示します。
最後に、競争の影響と今後の改善の方向性について説明します。
要約(オリジナル)
To facilitate research in the direction of fine-tuning foundation models from human feedback, we held the MineRL BASALT Competition on Fine-Tuning from Human Feedback at NeurIPS 2022. The BASALT challenge asks teams to compete to develop algorithms to solve tasks with hard-to-specify reward functions in Minecraft. Through this competition, we aimed to promote the development of algorithms that use human feedback as channels to learn the desired behavior. We describe the competition and provide an overview of the top solutions. We conclude by discussing the impact of the competition and future directions for improvement.
arxiv情報
| 著者 | Stephanie Milani,Anssi Kanervisto,Karolis Ramanauskas,Sander Schulhoff,Brandon Houghton,Sharada Mohanty,Byron Galbraith,Ke Chen,Yan Song,Tianze Zhou,Bingquan Yu,He Liu,Kai Guan,Yujing Hu,Tangjie Lv,Federico Malato,Florian Leopold,Amogh Raut,Ville Hautamäki,Andrew Melnik,Shu Ishida,João F. Henriques,Robert Klassert,Walter Laurito,Ellen Novoseller,Vinicius G. Goecks,Nicholas Waytowich,David Watkins,Josh Miller,Rohin Shah |
| 発行日 | 2023-03-23 17:59:17+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google