AI视频生成研究报告量子位智库insights分析师:Xuanhao2024.7xuanhao@gbital.com
insights1.技术侧2.应用侧3.玩家格局
insights大模型各模态总览:多模态发展趋势清晰，文本、图像商业化规模和成熟度较高，AI视频生成正在迅速发展成熟度关键节点代表应用字处理上面的卓越表现开启了生成式AI的浪2018年6月,由AlecRadford主导在OpenAl推出GPT-1ChatGPT进行推理是智能的重要表现2020年6月,OpenAl推±GPT-3,引发业界关注。验证Character.Al文本scaling路线ChatGPT月治用产已经定染GeminiARR的达到34亿美元2022年11月,ChatGPT掀起技术浪潮Anthropic次于基础模型的杀手级应用,获得了大0henA1发布初代文生国标0D411-5StableDiffusion2022年8月,Stable Diffusion在Stability.ai的支持下Midjourney图像开源、推动社区在图像领域快速发展Dall-E32023年3月,MidjourneyV5发布,迅速成为现象级应用点讨论Neta发布Phenaki,Maka-A-VideoSora要求较高。成熟相对文本、图像较慢创业公司推出Rurway-Gen2,Stable视频领军企业已经做出标杆。显著加造领域发展,已出现多家视XPika等产品频生成领域创业公司。Pixverse目前主要是音乐生成(语音识别、2024年2月,Suno.ai发布SunoV3场不如图片生成、视频生成等领域热门、比视频更加平期2024年6月,Stsbility.A1推出文生音频模型StableStableAudio音频明置创业公司较少,AudioOpen技术路线目前尚不清晰、感直明星创业公司较少。产品大专2020年8处于早期阶段,但正在加速发展2022年9月,谷歌发布DreanFusion3D,2023年5月,QpenAl开源Shape-E模型X2024年7月,Meta发布Meta30Gen信息来源:量子住智库
insights技术趋势:视频生成正在由检索生成、局部生成走向依靠自然语言提示词的全量生成，生成内容更加灵活丰富，应用空间广阔重点讨论检索生成局部生成提示词生成小.检索生成主要是对现有的视,仅针对视频的一部分进行生频素材根据关键词和标签进成,例如视频中人物角色、动作、背景、风格化、特珠素材,核心在于大模型的能力拼接和排列组合效果等特点特点特点农用传统的跨候态视频检索技术,通过视频标采用基于Transformer成者扩散模型的大模型路签的或者视频语义理解的方式从数据库中的检(CG)技术,但生成功能有限,主要是一些局可以通过自然语言或者指导图进行全局生成索，再将这些素村进行剪辑、组合拼接在一起部的垂点功能《但也可以班入已有内容》,视频的内容，风格。本质上还是健值对医配的逻辑·例如效果生成,在现有视频上添加多种效果,长短、分辨率、宽高比都可以进行灵活调整例如短视频平台的知识类视频、解说类视频,如这镜、光影、风格化、美颜特效等。也可以例如生成天马行空的创意视频、艺术视频、卡通通过文本关在数据库中进行素材检索,然做局部动态化,如人物的面部表情生成,搞笑非常灵活表情、爆款特效、舞蹈动作生成等所有的元素都是全新生成没有贯献增量业材,生成部分析元素,成本低伍阶段成天花板高应用的场景有限无新增内容部分新增内容全量新增内容信息来源:量子住智库
insights技术趋势:视频生成正由扩散模型主导的格局走向与语言模型结合的路线,Transformer将在视频生成方面发挥主导作用探索期早期增长期未米方向GANTransformerDiffusionModelDiffusion+Transformen2014年GAN发表,2016年左右2017年Transformer发表,逐2020年DOPM论文发表2022年12月DiftasionTransformer论文发表开始用于视频生成步向各个领域渗透,早期在视2021年LatentDiffusion2024年2月OpenAI发布Sora,取得惊艳的生成效果,验证了技术节点2013年VAE出现,可以通过编Models论文发表DiffusionAoTransformer结合的有效性码器和解码器的机制学习数据2022年VideoDiffusion2021年Google发布Video的潜在表示Model论文发表案例TextZFilter,TGANs-C, VGAN,G001VA、VideoGPT,Phenaki,Sora,Videopoet,W.A.L.TTGAN、VideoGPT,MoCoGAN,CogVideo,NJWA由于领军企业的示范效应,DiffusionIransformer已,经成为视频DVD-GAN、DIGAN早期基于Transformer的视频领域内其他玩家都开始聚焦DiT开联购选发应用范围有限《只能总特定生成生成效果有限,在当时的成本ora的架构大多是猜想。从架构大方向上接近，但例如数...
