Approximating Human-Like Few-shot Learning with GPT-based Compression

要約

この研究では、学習プロセスを情報圧縮として概念化します。
私たちは、事前トレーニングされた生成モデルに、推論中のデータ圧縮を可能にする人間のような学習機能を装備することを目指しています。
我々は、少数ショット学習に最適な情報距離を推定することを目的として、生成事前学習変換器 (GPT) を利用してコルモゴロフ複雑度を近似する新しいアプローチを提案します。
まず、可逆テキスト圧縮の事前処理として GPT を使用し、注目に値する圧縮率を達成することを提案します。
LLAMA2-7B バックボーンを使用した実験では、enwik9 で 15.5 の圧縮率を達成しました。
GPT モデルが圧縮長と同等であること、したがってテキストの情報距離を近似する能力を実証することで、GPT モデルの事前トレーニング目的を正当化します。
近似された情報距離を活用することで、私たちの方法では定量的なテキスト類似性測定に GPT モデルを直接適用できます。
実験結果は、意味的類似性、ゼロショットおよびワンショットテキスト分類、ゼロショットテキストランキングなどの困難な NLP タスクにおいて、私たちの方法が埋め込みベースラインやプロンプトベースラインと比較して全体的に優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

In this work, we conceptualize the learning process as information compression. We seek to equip generative pre-trained models with human-like learning capabilities that enable data compression during inference. We present a novel approach that utilizes the Generative Pre-trained Transformer (GPT) to approximate Kolmogorov complexity, with the aim of estimating the optimal Information Distance for few-shot learning. We first propose using GPT as a prior for lossless text compression, achieving a noteworthy compression ratio. Experiment with LLAMA2-7B backbone achieves a compression ratio of 15.5 on enwik9. We justify the pre-training objective of GPT models by demonstrating its equivalence to the compression length, and, consequently, its ability to approximate the information distance for texts. Leveraging the approximated information distance, our method allows the direct application of GPT models in quantitative text similarity measurements. Experiment results show that our method overall achieves superior performance compared to embedding and prompt baselines on challenging NLP tasks, including semantic similarity, zero and one-shot text classification, and zero-shot text ranking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google