DataFunSummit # 2024多模态大模型：开放世界理解谢春宇 /360多模态团队负责人
背景 图文多模态大模型 360多模态大模型探索 业务落地实践1234
什么是大模型大参数大算力大数据
什么是大模型大数据大参数大算力
背景q人工智能AGI，我们需要什么？ChatGPT的发布标志着自然语言处理技术迈入了一个全新的阶段。自2022年底亮相以来，它凭借其惊人的语言生成能力，迅速成为AI领域的焦点。ChatGPT能够进行连贯、深度的对话，甚至创作诗歌、撰写文章，展现出了前所未有的创造力和理解力。这一突破不仅激发了公众对于AI技术的兴趣，还加速了科技界对通用人工智能（AGI）的研究步伐。在教育、写作、娱乐等多个领域，ChatGPT的应用潜力正在被不断挖掘。教育工作者利用它辅助教学，作家借助它激发灵感，企业则将其融入客户服务，提高了效率与体验。同时，ChatGPT也引发了关于AI伦理、隐私保护及就业市场变革的广泛讨论，促使社会各界思考如何在享受AI红利的同时，建立相应的监管框架，确保技术的健康发展。总之，ChatGPT的出现不仅是技术上的革新，更是对人类社会未来发展路径的一次深刻启示。
背景q人工智能AGI，我们需要什么？•GPT4做为新一代的GPT模型•增加了对视觉模态输入的支持，这意味着它能够理解图像并进行相应的自然语言生成•增加了多模态能力的GPT4也带来了应用层面的更多可能•GPT-4V•增强的视觉能力•分析和理解图像内容，提供描述、识别对象，甚至解释场景•根据图像生成创意文本格式•翻译图像中的文本，强大的OCR能力•GPT-4O•具备原生多模态能力•支持文本、音频、图像任意组合•性能提升，更快的响应速度
背景q视觉能力是通用人工智能AGI需必备的基础能力——人类智能本身高度依赖于视觉感知理解世界情境感知交互能力学习能力识别物体预测运动……
视觉-语言跨模态学习• Vision-language cross modal learning，亦称为VLP（Vision-Language Pretrain）、VLM（Vision-Language Model），代表性的工作是20年OpenAI的CLIP，开启和引领了CV多模态研究的大模型时代Li, Yingming, Ming Yang, and Zhongfei Zhang. "Multi-view representation learning: A survey from shallow methods to deep methods." arXiv preprint arXiv:1610.01206 1 (2016).
视觉-语言跨模态学习Radford, Alec, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry et al. "Learning transferable visual models from natural language supervision." In International conference on machine learning, pp. 8748-8763. PMLR, 2021.0.4B1.8B5B5BCLIP'20ALIGN'21BASIC'22DFN'23Data Size
视觉-语言跨模态学习中文图文跨模态模型 R2D2图文跨模态学习带来的基于内容的图文互检能力对于互联网搜索来说具有非常重要的落地价值，来自于360搜索的实际业务需求非常强烈。360搜索：使用跨模态模型之前的搜索结果360搜索：使用跨模态模型之后的搜索结果
视觉-语言跨模态学习中文图文跨模态模型 R2D2•2300万训练数据，在中文图文检索任务上达到SOTA•双塔base + 单塔head的混合模式•专门针对数据噪声设计的momentum-updated encoder和masked input + soft label双蒸馏[1] Xie Chunyu, et al. CCMB: A Large-scale Chinese Cross-modal Benchmark[C]//Proceedings of the 31st ACM International Conference on Multimedia. 2023: 4219-4227.
视觉-语言跨模态学习中文图文跨模态模型 R2D2•伴随着算法和模型，我们一同开源了对应的图文跨模态数据集Zero，包含2.5亿中文图文对数据•基于用户点击CTR筛选，数据质量更高https://zero.so.com2300万3000万1亿2.5亿Zero V1WenLan'21WuKong'22Zero V2Data Size
背景 图文多模态大模型 360多模态大模型探索 业务落地实践1234
图文多模态大模型LMM的研发回顾• LMM = Large Multimodal Model，之前亦称为MLLM（Multimodal Large Language Model），目前也有小部分工作为了强调视觉能力将其称...
