InternGPT: Solving Vision-Centric Tasks by Interacting with ChatGPT Beyond Language

要約

タイトル：タスクを解決するためのInternGPT：言語以外の手段を用いたChatGPTとの相互作用によるビジョン中心のタスクの解決

要約：
– InternGPTという名前のビジュアルフレームワークを提案している。
– このフレームワークは、ChatGPTなどの計画や推論の能力を持つチャットボットを、直接画像やビデオを操作することができる指示（ポイント運動）と統合する。
– ポイント運動は、細かい制御や編集、視覚的なコンテンツの生成が必要なビジョン中心のタスクをより柔軟かつ正確に行うことができる。
– 既存の純粋な言語に頼る対話システムとは異なり、指示を組み込むことでコミュニケーションの効率、チャットボットの正確性を向上させることができる。
– また、LLMの制御能力を改善するために補助制御メカニズムが使用され、高品質なマルチモーダル対話に対応する大型ビジョン言語モデルのHuskyがファインチューニングされた。
– この研究が新しいアイデアや方向性を生み出すことを期待している。コードはhttps://github.com/OpenGVLab/InternGPTで確認できる。

要約(オリジナル)

We present an interactive visual framework named InternGPT, or iGPT for short. The framework integrates chatbots that have planning and reasoning capabilities, such as ChatGPT, with non-verbal instructions like pointing movements that enable users to directly manipulate images or videos on the screen. Pointing (including gestures, cursors, etc.) movements can provide more flexibility and precision in performing vision-centric tasks that require fine-grained control, editing, and generation of visual content. The name InternGPT stands for \textbf{inter}action, \textbf{n}onverbal, and \textbf{chat}bots. Different from existing interactive systems that rely on pure language, by incorporating pointing instructions, the proposed iGPT significantly improves the efficiency of communication between users and chatbots, as well as the accuracy of chatbots in vision-centric tasks, especially in complicated visual scenarios where the number of objects is greater than 2. Additionally, in iGPT, an auxiliary control mechanism is used to improve the control capability of LLM, and a large vision-language model termed Husky is fine-tuned for high-quality multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89\% GPT-4 Quality). We hope this work can spark new ideas and directions for future interactive visual systems. Welcome to watch the code at https://github.com/OpenGVLab/InternGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI