Measuring Pointwise $\mathcal{V}$-Usable Information In-Context-ly

要約

インコンテキスト学習 (ICL) は、大規模な言語モデルの開発とともに人気が高まっている新しい学習パラダイムです。
この研究では、最近提案された硬度計量点単位 $\mathcal{V}$ 利用可能情報 (PVI) を、インコンテキスト バージョン (インコンテキスト PVI) に適応させます。
元の PVI と比較すると、インコンテキスト PVI は、少数のサンプルのみが必要であり、微調整が必​​要ないという点でより効率的です。
私たちは、コンテキスト内 PVI の信頼性を評価するために、包括的な実証分析を実施しました。
私たちの調査結果は、コンテキスト内の PVI 推定が元の PVI と同様の特性を示すことを示しています。
インコンテキスト設定に特有の、インコンテキスト PVI 推定値は、さまざまなサンプル選択やショット数にわたって一貫したままであることを示します。
異なるサンプル選択にわたるインコンテキスト PVI 推定値の分散はわずかであり、これはインコンテキスト PVI が安定していることを示唆しています。
さらに、コンテキスト内 PVI を使用して困難なインスタンスを特定する方法を示します。
私たちの研究は、コンテキスト内 PVI の可能性を強調し、ICL の機能についての新たな洞察を提供します。

要約(オリジナル)

In-context learning (ICL) is a new learning paradigm that has gained popularity along with the development of large language models. In this work, we adapt a recently proposed hardness metric, pointwise $\mathcal{V}$-usable information (PVI), to an in-context version (in-context PVI). Compared to the original PVI, in-context PVI is more efficient in that it requires only a few exemplars and does not require fine-tuning. We conducted a comprehensive empirical analysis to evaluate the reliability of in-context PVI. Our findings indicate that in-context PVI estimates exhibit similar characteristics to the original PVI. Specific to the in-context setting, we show that in-context PVI estimates remain consistent across different exemplar selections and numbers of shots. The variance of in-context PVI estimates across different exemplar selections is insignificant, which suggests that in-context PVI are stable. Furthermore, we demonstrate how in-context PVI can be employed to identify challenging instances. Our work highlights the potential of in-context PVI and provides new insights into the capabilities of ICL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google