Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context

要約

このレポートでは、Gemini 1.5 ファミリのモデルを紹介します。これは、複数の長い文書や何時間にもわたるビデオなど、何百万ものコンテキスト トークンからのきめ細かい情報を呼び出して推論できる、計算効率の高い次世代のマルチモーダル モデルです。
オーディオ。
このファミリーには 2 つの新しいモデルが含まれています。(1) 更新された Gemini 1.5 Pro は、大部分の機能とベンチマークで 2 月のバージョンを上回っています。
(2) Gemini 1.5 フラッシュ。品質の低下を最小限に抑えながら効率性を重視して設計された、より軽量なバージョンです。
Gemini 1.5 モデルは、さまざまなモダリティにわたる長いコンテキストの検索タスクでほぼ完璧なリコールを達成し、長いドキュメントの QA、長いビデオの QA、および長いコンテキストの ASR で最先端の技術を向上させ、Gemini 1.0 Ultra の状態と同等かそれを上回っています。
幅広いベンチマークにわたって最先端のパフォーマンスを実現します。
Gemini 1.5 のロングコンテキスト能力の限界を研究すると、次のトークンの予測と、少なくとも 1,000 万トークンまでのほぼ完璧な取得 (99% 以上) が継続的に改善されており、Claude 3.0 などの既存のモデルを世代が飛び越えていることが分かりました。
200k) と GPT-4 ターボ (128k)。
最後に、Gemini 1.5 が専門家と協力してタスクを完了し、10 の異なる職種にわたって 26 ～ 75% の時間を節約したことや、最前線の大規模言語モデルの驚くべき新機能など、実際の使用例を紹介します。
世界中で話者が 200 人未満であるカラマン言語の文法マニュアルを渡されると、モデルは、同じ内容から学習した人と同様のレベルで英語をカラマン語に翻訳することを学習します。

要約(オリジナル)

In this report, we introduce the Gemini 1.5 family of models, representing the next generation of highly compute-efficient multimodal models capable of recalling and reasoning over fine-grained information from millions of tokens of context, including multiple long documents and hours of video and audio. The family includes two new models: (1) an updated Gemini 1.5 Pro, which exceeds the February version on the great majority of capabilities and benchmarks; (2) Gemini 1.5 Flash, a more lightweight variant designed for efficiency with minimal regression in quality. Gemini 1.5 models achieve near-perfect recall on long-context retrieval tasks across modalities, improve the state-of-the-art in long-document QA, long-video QA and long-context ASR, and match or surpass Gemini 1.0 Ultra’s state-of-the-art performance across a broad set of benchmarks. Studying the limits of Gemini 1.5’s long-context ability, we find continued improvement in next-token prediction and near-perfect retrieval (>99%) up to at least 10M tokens, a generational leap over existing models such as Claude 3.0 (200k) and GPT-4 Turbo (128k). Finally, we highlight real-world use cases, such as Gemini 1.5 collaborating with professionals on completing their tasks achieving 26 to 75% time savings across 10 different job categories, as well as surprising new capabilities of large language models at the frontier; when given a grammar manual for Kalamang, a language with fewer than 200 speakers worldwide, the model learns to translate English to Kalamang at a similar level to a person who learned from the same content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google