POEM: Interactive Prompt Optimization for Enhancing Multimodal Reasoning of Large Language Models

要約

大規模言語モデル (LLM) は、ゼロショットまたは少数ショットの設定で適切なプロンプトを使用して、マルチモーダルなコンテンツの理解と推論に関して優れた能力を示しています。
さまざまなタスクにわたる LLM の迅速なエンジニアリングをサポートするために開発された対話型システムが急増しているにもかかわらず、そのほとんどは主にテキストまたは視覚的な入力に焦点を当てており、マルチモーダル入力内のモダリティ間の複雑な相互作用が無視されています。
この見落としは、複数のモダリティによって提供される豊富なコンテキストを十分に活用して、モデルのマルチモーダル推論プロセスをガイドする効果的なプロンプトの開発を妨げます。
この論文では、LLM のマルチモーダル推論パフォーマンスを強化するための効率的なプロンプト エンジニアリングを促進するビジュアル分析システム POEM を紹介します。
このシステムにより、ユーザーは、さまざまなプロンプトによって引き出されるマルチモーダルな知識を包括的に理解するために、さまざまな詳細レベルでモダリティにわたる対話パターンを探索できるようになります。
POEM は、デモンストレーションの例と指導原則に関するさまざまな推奨事項を通じて、ユーザーがプロンプトを繰り返し作成および改良して、モデルの知識と人間の洞察をより適切に調整および強化できるようにサポートします。
当社のシステムの有効性と効率性は、2 つのケーススタディと専門家へのインタビューを通じて検証されています。

要約(オリジナル)

Large language models (LLMs) have exhibited impressive abilities for multimodal content comprehension and reasoning with proper prompting in zero- or few-shot settings. Despite the proliferation of interactive systems developed to support prompt engineering for LLMs across various tasks, most have primarily focused on textual or visual inputs, thus neglecting the complex interplay between modalities within multimodal inputs. This oversight hinders the development of effective prompts that guide model multimodal reasoning processes by fully exploiting the rich context provided by multiple modalities. In this paper, we present POEM, a visual analytics system to facilitate efficient prompt engineering for enhancing the multimodal reasoning performance of LLMs. The system enables users to explore the interaction patterns across modalities at varying levels of detail for a comprehensive understanding of the multimodal knowledge elicited by various prompts. Through diverse recommendations of demonstration examples and instructional principles, POEM supports users in iteratively crafting and refining prompts to better align and enhance model knowledge with human insights. The effectiveness and efficiency of our system are validated through two case studies and interviews with experts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google