LLM-augmented Preference Learning from Natural Language

要約

自然言語で表現された好みを見つけることは重要ですが、困難な作業です。
最先端 (SotA) メソッドは、BERT、RoBERTa などのトランスフォーマー ベースのモデルや、グラフ アテンション ネットワークなどのグラフ ニューラル アーキテクチャを活用します。
Large Language Model (LLM) は、より長いコンテキスト長を処理する機能を備えており、トランスフォーマー ベースのモデルよりもモデル サイズがはるかに大きいため、比較テキストを直接分類する機能を調査します。
この作業は、CPC タスクに LLM を使用するための最初のステップとして機能することを目的としています。
私たちは、分類タスクを LLM の入力プロンプトにフォーマットする一連の実験と、自動的に評価できる固定フォーマットの応答を取得する方法論を設計して実行します。
既存の手法とパフォーマンスを比較すると、事前トレーニングされた LLM は、微調整を必要とせずに以前の SotA モデルを上回るパフォーマンスを発揮できることがわかります。
私たちの結果は、ターゲットテキストが大きい場合、つまり複数の文で構成されている場合、LLM が一貫して SotA のパフォーマンスを上回り、短いテキストでも依然として SotA のパフォーマンスに匹敵することを示しています。
また、ゼロショット学習よりも少数ショット学習の方がパフォーマンスが高いこともわかりました。

要約(オリジナル)

Finding preferences expressed in natural language is an important but challenging task. State-of-the-art(SotA) methods leverage transformer-based models such as BERT, RoBERTa, etc. and graph neural architectures such as graph attention networks. Since Large Language Models (LLMs) are equipped to deal with larger context lengths and have much larger model sizes than the transformer-based model, we investigate their ability to classify comparative text directly. This work aims to serve as a first step towards using LLMs for the CPC task. We design and conduct a set of experiments that format the classification task into an input prompt for the LLM and a methodology to get a fixed-format response that can be automatically evaluated. Comparing performances with existing methods, we see that pre-trained LLMs are able to outperform the previous SotA models with no fine-tuning involved. Our results show that the LLMs can consistently outperform the SotA when the target text is large — i.e. composed of multiple sentences –, and are still comparable to the SotA performance in shorter text. We also find that few-shot learning yields better performance than zero-shot learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google