人工智能行业深度报告：从Sora看多模态大模型发展-浙商证券-43页会员免费优质

2024年2月——人工智能行业深度报告姓名刘雯蜀邮箱liuwenshu03@stocke.com.cn证书编号s1230523020002证券研究报告从Sora看多模态大模型发展行业评级：看好

添加标题95%摘要21、OpenAI发布视频生成模型Sora，视频生成能力实现大幅提升：•2024年2月16日，OpenAI发布视频生成模型Sora，能生成各种持续时间（甚至长达1分钟）、宽高比和分辨率的视频和图片。Sora 模型基于Diffusion Transformer技术，采用视频压缩网络（Video compression network）、潜空间patch（Spacetime latent patches ）、直接在原始大小训练（Training on data at its native size）以及重新标注技术（Re-captioning technique）技术，可以图像和视频作为输入，实现制作无缝循环视频、给静态图片添加动画、扩展视频时间线、视频到视频编辑、视频拼接等功能；2、国内外厂商相继发力布局多模态大模型领域，2024年文生视频有望进入商业化探索阶段：•目前除OpenAI之外，谷歌、字节跳动等厂商均已推出具备文生视频能力的多模态模型。基于对Stable Video Diffusion、谷歌W.A.L.T以及其它文生视频模型的分析，我们认为高质量数据以及底层通用大模型是文生视频能力的重要决定因素，随着Transformer架构的引入，以及3D建模领域模型的迭代，2024年文生视频有望在时间长度、画面清晰度、内容逼真程度等方面实现显著迭代，打开商业化应用空间。3、海外已有部分文生视频商业化案例，未来有望覆盖全球千亿级视频内容生成市场：•Prescient & Strategic Intelligence数据显示，2025年全球数字视频内容市场规模有望达到3271.9亿美元，2021~2025年CAGR约为13.7%。目前海外已有Synthesia、Runway等厂商在文生视频领域形成成熟商业方案，应用于企业产品介绍、操作指南、客户服务等场景。我们认为以Sora为代表的多模态模型有望显著降低视频等数字内容的创作成本，市场空间广阔。4、建议关注标的：•（1）大模型厂商：科大讯飞、云从科技、微软、谷歌；（2）多模态应用厂商：万兴科技、虹软科技、焦点科技、Adobe；风险提示•1、AI 技术迭代不及预期的风险；2、AI 商业化产品发布不及预期；3、政策不确定性带来的风险；4、下游市场不确定性带来的风险；

多模态AI综述01Partone3

AI模型：必将从单模态走向多模态，实现复杂场景下的智能决策014单模态多模态跨模态多模态神经搜索Jina AI光谱AI实现模态融合多模态AI数据：将多模态数据融合处理模型：更多融合人类脑神经机制，提升性能功能：实现智能决策、跨模态任务、运动控制、智能预测反馈……来源：AWS，IBM Research，浙商证券研究所

2024年，有望出现多模态领域类ChatGPT的爆款应用015来源：《Multimodal Foundation Models: From Specialists to General-Purpose Assistants》，浙商证券研究所1Task-Specific模型2预训练模型3Unified Models withEmerging Capabilities4General Purpose Assistants语言文本领域视觉&多模态领域•机器翻译•文字填充•情绪识别•BERT•GPT•GPT-2•GPT-3•LLaMA•分类•检索•风格转换•MoCo•CLIP•DALLE•Flamingo•PaLM-E•ChatGPT•GPT-4子类细分方向代表模型视觉理解（visualUnderstanding）监督学习、基于语言-文本对的训练、仅有图像的自监督学习、多种方法的融合、多模态融合、区块和像素级别的预训练BiT、ViTCLIP、ALIGNMoCo、DINO、MAESLIP、UniCLUNITER、CoCaGLIP、SAM视觉生成（Visual Generation）文本-图像生成基础模型、Spatial Controllable生成、基于文本的编辑模型、文本Prompt、Concept CustomizationStable DiffusionControlNetInstructPix2PixDDPODreamBooth子类细分方向代表模型联合视觉模型（Unified Vision Models）From Closed-set to Open-set Models、From Task-Specific to Generic Models、From Static to Promptable ModelsGLIP、Openseg、OpenSeeD、Unified-IO、X-Decoder、SAM、SEEM、SegGPT基于LLM训练的多模态大模型（Visual Generation）图像到文字的生成模型、Instruction Tuning in LLM、Instruction Tuning in LMMFlamingo、ChatGPT、Vi...