Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context

要約

このレポートでは、Gemini ファミリの最新モデルである Gemini 1.5 Pro を紹介します。これは、複数の長いコンテキストを含む数百万のコンテキスト トークンからのきめ細かい情報を呼び出し、推論できる、計算効率の高いマルチモーダルな専門家混合モデルです。
ドキュメントと何時間ものビデオと音声。
Gemini 1.5 Pro は、さまざまなモダリティにわたる長いコンテキストの検索タスクでほぼ完璧なリコールを達成し、長いドキュメントの QA、長いビデオの QA、および長いコンテキストの ASR の最先端を改善し、Gemini 1.0 Ultra の状態と同等かそれを上回ります。
幅広いベンチマークにわたって最先端のパフォーマンスを実現します。
Gemini 1.5 Pro のロングコンテキスト能力の限界を研究すると、次のトークンの予測と、少なくとも 1,000 万トークンまでのほぼ完璧な取得 (99% 以上) が継続的に改善されており、Claude 2.1 (200k など) のような既存のモデルを世代が飛び越えています。
) および GPT-4 ターボ (128k)。
最後に、最先端の大規模言語モデルの驚くべき新機能を紹介します。
世界中で話者が 200 人未満であるカラマン言語の文法マニュアルを与えると、モデルは同じ内容から学習した人と同様のレベルで英語をカラマン語に翻訳することを学習します。

要約(オリジナル)

In this report, we present the latest model of the Gemini family, Gemini 1.5 Pro, a highly compute-efficient multimodal mixture-of-experts model capable of recalling and reasoning over fine-grained information from millions of tokens of context, including multiple long documents and hours of video and audio. Gemini 1.5 Pro achieves near-perfect recall on long-context retrieval tasks across modalities, improves the state-of-the-art in long-document QA, long-video QA and long-context ASR, and matches or surpasses Gemini 1.0 Ultra’s state-of-the-art performance across a broad set of benchmarks. Studying the limits of Gemini 1.5 Pro’s long-context ability, we find continued improvement in next-token prediction and near-perfect retrieval (>99%) up to at least 10M tokens, a generational leap over existing models such as Claude 2.1 (200k) and GPT-4 Turbo (128k). Finally, we highlight surprising new capabilities of large language models at the frontier; when given a grammar manual for Kalamang, a language with fewer than 200 speakers worldwide, the model learns to translate English to Kalamang at a similar level to a person who learned from the same content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google