Let Me Teach You: Pedagogical Foundations of Feedback for Language Models

要約

自然言語フィードバック (NLF) は、大規模言語モデル (LLM) を人間の好みに合わせるためのメカニズムとしてますます人気が高まっています。
NLF メソッドは、伝達できる情報の多様性にもかかわらず、多くの場合手作業で設計された恣意的なものであり、体系的な根拠がほとんどありません。
同時に、学習科学の研究により、長い間、いくつかの効果的なフィードバック モデルが確立されてきました。
この意見記事では、フィードバック空間のさまざまな特性を概説する LLM 用のフィードバック フレームワークである FELT と、これらの変数に基づくフィードバック コンテンツ分類法を紹介するために教育学のアイデアをまとめ、フィードバック空間の一般的なマッピングを提供します。
FELT は、NLF 設計の合理化に加えて、NLF における研究の新たな未踏の方向性も導き出します。
私たちは分類法をコミュニティに公開し、分類を将来の研究にマッピングするためのガイドと例を提供します。

要約(オリジナル)

Natural Language Feedback (NLF) is an increasingly popular mechanism for aligning Large Language Models (LLMs) to human preferences. Despite the diversity of the information it can convey, NLF methods are often hand-designed and arbitrary, with little systematic grounding. At the same time, research in learning sciences has long established several effective feedback models. In this opinion piece, we compile ideas from pedagogy to introduce FELT, a feedback framework for LLMs that outlines various characteristics of the feedback space, and a feedback content taxonomy based on these variables, providing a general mapping of the feedback space. In addition to streamlining NLF designs, FELT also brings out new, unexplored directions for research in NLF. We make our taxonomy available to the community, providing guides and examples for mapping our categorizations to future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google