PaLM 2 Technical Report

要約

PaLM 2 は、前世代の PaLM よりも優れた多言語機能と推論機能を備え、計算効率が高い新しい最先端の言語モデルです。
PaLM 2 は、さまざまな目的を使用してトレーニングされた Transformer ベースのモデルです。
英語と多言語、および推論タスクに関する広範な評価を通じて、PaLM 2 がさまざまなモデル サイズにわたって下流タスクの品質を大幅に向上させると同時に、PaLM と比較してより高速で効率的な推論を示したことを実証しました。
この効率の向上により、より広範な展開が可能になると同時に、モデルの応答が速くなり、より自然なペースで対話できるようになります。
PaLM 2 は、BIG-Bench およびその他の推論タスクでの PaLM に対する大幅な改善に代表される、堅牢な推論機能を実証します。
PaLM 2 は、一連の責任ある AI 評価で安定したパフォーマンスを示し、追加のオーバーヘッドや他の機能への影響を与えることなく、毒性に対する推論時間の制御を可能にします。
全体として、PaLM 2 は、さまざまなタスクと機能にわたって最先端のパフォーマンスを実現します。
PaLM 2 ファミリについて議論する場合、事前トレーニングされたモデル (さまざまなサイズ)、これらのモデルの微調整されたバリアント、およびこれらのモデルを使用するユーザー向け製品を区別することが重要です。
特に、ユーザー向け製品には通常、追加の前処理ステップと後処理ステップが含まれます。
さらに、基礎となるモデルは時間の経過とともに進化する可能性があります。
したがって、ユーザー向け製品のパフォーマンスがこのレポートで報告された結果と正確に一致すると期待すべきではありません。

要約(オリジナル)

We introduce PaLM 2, a new state-of-the-art language model that has better multilingual and reasoning capabilities and is more compute-efficient than its predecessor PaLM. PaLM 2 is a Transformer-based model trained using a mixture of objectives. Through extensive evaluations on English and multilingual language, and reasoning tasks, we demonstrate that PaLM 2 has significantly improved quality on downstream tasks across different model sizes, while simultaneously exhibiting faster and more efficient inference compared to PaLM. This improved efficiency enables broader deployment while also allowing the model to respond faster, for a more natural pace of interaction. PaLM 2 demonstrates robust reasoning capabilities exemplified by large improvements over PaLM on BIG-Bench and other reasoning tasks. PaLM 2 exhibits stable performance on a suite of responsible AI evaluations, and enables inference-time control over toxicity without additional overhead or impact on other capabilities. Overall, PaLM 2 achieves state-of-the-art performance across a diverse set of tasks and capabilities. When discussing the PaLM 2 family, it is important to distinguish between pre-trained models (of various sizes), fine-tuned variants of these models, and the user-facing products that use these models. In particular, user-facing products typically include additional pre- and post-processing steps. Additionally, the underlying models may evolve over time. Therefore, one should not expect the performance of user-facing products to exactly match the results reported in this report.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google