Benchmarking General Purpose In-Context Learning

要約

一般的なインテリジェンスを構築する上で、インコンテキスト学習 (ICL) 機能がますます魅力的になってきています。
この概念をさらに一歩進めて、私たちは人間や多くの動物との類似点を描きます。動物は主に学習能力を受け継ぎますが、生涯にわたる広範な経験を通じて記憶を磨き、多様なスキルと知識を獲得します。
この類似点が、汎用インコンテキスト学習 (GPICL) へのアプローチにインスピレーションを与えます。
このペーパーでは、GPICL の機能をトレーニングおよび評価するために特別に作成された、軽量で洞察力に富んだ 2 つのベンチマークを紹介します。
各ベンチマークには、生成と相互作用、最小限の移転可能な知識、および長期的な依存関係を特徴とする広範囲にわたる多様なタスクが含まれています。
これらの機能は、主にコンテキストやインタラクションに依存して熟練度を向上させるモデルにとって、大きな課題となります。
私たちは、これらのベンチマークが GPICL の研究を前進させるだけでなく、一般知能のより広範な分野に大きく貢献することを期待しています。

要約(オリジナル)

In-context learning (ICL) capabilities is becoming increasingly appealing towards building general intelligence. Taking this concept one step further, we draw a parallel to humans and many animals, who inherit primarily learning capabilities but refine their memory and acquire diverse skills and knowledge through extensive lifelong experiences. This parallel inspires our approach to general purpose in-context learning (GPICL). This paper introduces two lightweight but insightful benchmarks specifically crafted to train and evaluate GPICL functionalities. Each benchmark encompasses a wide range of diverse tasks characterized by generation and interaction, minimal transferable knowledge, and long-term dependency. These features present significant challenges for models that primarily rely on context or interactions to enhance their proficiency. We hope that these benchmarks will not only advance research in GPICL but also contribute significantly to the broader field of general intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google