2024人工智能Sora文生图视频行业分析报告

Sora问世，视频创作领域迎来“iPhone时刻”。2023年2月15日，OpenAI发布视频生成大模型Sora，通过 文本指令，Sora可以直接输出长达60秒的高清视频，包含高度写实的背景、复杂的多角度镜头以及富有情感的多角色叙事，更为可贵的是，Sora生成的视频表现出对于真实世界物理常识的深刻理解。部分媒体报道惊叹— —“Sora之后，现实将不再存在”。从本轮AI应用端发展实践来看，以文本创作（小说、剧本）、图像创作（绘画、平面设计、摄影）、视频创意（广告、短视频、传统影视、游戏）为代表的创意创作领域因其高容错率、高投入度，在AI浪潮之初就被市场广泛认为将会成为最先被AI深刻赋能的产业之一；从本轮AI模型发展演绎来看，以ChatGPT为代表的文本创作以Midjourney、StableDiffusion为代表的图像创作以Runway、Sora为代表的视频创作的发展速度无疑是极为惊人的。我们认为，从文字到图像到视频，AI内容创作的信息升维越来越考验模型的创作效率与生成结果的稳定性（早期版本的Midjourney存在生成时间长、生成结果违背物理常识或者“AI感”明显的问题；RunwayGen-1/2也存在生成视频时长较短且生成视频逻辑连贯性较弱等缺陷），但正如MidjourneyV5/6已逐步广泛实现多行业的商业化落地，我们认为Sora的问世有望推动着视频创作领域的“iPhone时刻”到来。 Sora取法Tokens文本特征标记，是基于Patches视觉特征标记的DiffusionTransformer模型。OpenAI研 究团队从LLM中汲取灵感，认为LLM范式的成功在一定程度上得益于Tokens的使用，故而通过将视频信息分解为带有时空特征的Patches训练了DiffusionTransformer模型。从训练角度而言，基于Patches视觉特征标记对原生视频进行采样扩大了可用样本的规模且省去了标准化样本的步骤。从推理角度而言，基于原生视频训练的模型在生成新视频方面改善了构图和取景。OpenAI目前发布的Sora视频大模型主要具备文生视频、视频编辑、文生图三类功能，在文生视频过程中，用户通过输入Prompt提示词DALL·E生成图像Sora生成视频。 文生图和文生视频是当下AI应用端落地焦点，海外相关技术产品迭代迅速。据Discord，按邀请页面流量排序 的十大AI应用程序中，有5个是图片生成应用程序，2个是音频生成应用程序，2个是视频生成应用程序，其中，Midjourney位列第一，Pika位列第二，图片约占前10名流量的74%，视频约占前10名流量的8%。文生图领域，海外有Adobe（老牌创意软件巨头，现已发布下一代Firefly支持多种文生图功能）、Midjourney（文生图模型新锐，现已广泛实现商业化落地）。文生视频领域，海外有Pika（AI初创公司，支持一键生成3秒共计72帧视频）、Runway（拥有最早商业化的T2V模型RunwayGen-2）。 国内推荐关注万兴科技和美图公司等创意软件龙头投资机会。万兴于2023年9月宣布即将发布国内首个专注于 以视频创意应用为核心的百亿级参数多媒体大模型“天幕”，具备一键成片、AI美术设计、文生音乐、音频增强、音效分析、多语言对话等核心能力。2022年底至2023全年万兴对旗下T2V/I多款拳头产品进行AI功能更新，AI赋能之下订阅收入占比及订阅续约率取得双增。美图公司于2023年12更新视觉大模型MiracleVision4.0，具备文生视频、图生视频、视频生视频等多模态能力，AI赋能之下订阅业务收入占比逐年增长。 Sora开启创意领域新纪元，国内推荐关注万兴科技、美图公司、虹软科技、科大讯飞；海外推荐关注Adobe。 海外基础软硬件使用受限的风险；AI应用落地不及预期的风险；行业竞争加剧风险。 扫码获取更多服务 内容目录 1.OpenAI视频大模型Sora：不止于视频，剑指世界模型，初步理解物理规律4 1.1Sora问世：OpenAI发布视频生成大模型，剑指物理世界通用模拟工具4 1.2技术路径：基于Patches视觉特征标记的DiffusionTransformer模型4 1.3算法实现：Patches实现更灵活的采样+更优化的构图5 1.4功能解读：文生视频+视频编辑，确保“物理世界常识”始终在场的通用模拟工具7 2.文生图/视频海外标杆：AI应用端焦点，技术及产品迭代迅速8 2.1文生图/视频为当下AI应用焦点：相关产品流量排序名列前茅8 2.2文生图-T2I（TexttoImage）：Diffusion模型奠定文生图商业化基石，新老玩家广泛入局9 2.2.1Adobe：老牌创意软件巨头向AIG出征，发布下一代Firefly支持多种文生图功能10 2.2.2Midjourney：文生图模型新锐，提升创意设计工作效率，广泛实现商业化落地11 2.3文生视频-T2V（TexttoVideo）：创意产业工作流变革前夜，MGC时代大幕下的先行者11 2.3.1Pika：AI初创公司发布1.0工具，支持一键生成3秒共计72帧视频13 2.3.2Runway：拥有最早商业化的T2V模型之一-RunwayGen-214 3.文生图/视频国内映射：万兴、美图头部标杆，相继发布视觉大模型，订阅收入占比势能向上14 3.1万兴科技：发布“天幕”大模型整合T2V/I能力，AI赋能订阅及续约率双增14 3.2美图公司：自研视觉大模型MiracleVision4.0，订阅业务收入占比逐年增长18 4.投资建议19 5.风险提示19 扫码获取更多服务 图表目录 图表1：OpenAI发布文生视频大模型Sora4 图表2：Sora技术路径：基于Patches视觉特征标记的DiffusionTransformer模型5 图表3：WhyPatches？——更灵活的采样+更优化的构图6 图表4：基于DALL·E3DCS的描述性标题重述与基于GPT的标题扩写7 图表5：Sora功能一览：文生视频+视频编辑，确保“物理世界常识”始终在场8 图表6：Midjourney高居AI产品流量榜首9 图表7：AI图片生成约占前十AI产品流量的74%9 图表8：T2I模型近年来加速迭代演进9 图表9：Diffusion模型的前向阶段噪声化和逆向阶段去噪过程10 图表10：AdobeFirefly目前能够支持的部分AI功能10 图表11：Midjourney文生图创意作品已广泛商业化落地11 图表12：LatentVideoDiffusion模型基于文字描述与初始图像编辑视频12 图表13：以Sora为代表的T2V大模型有望深刻改变影视产业工作流13 图表14：Pika1.0工具主要功能14 图表15：RunwayGen-2主要功能14 图表16：万兴大模型“天幕”宣传片中透露七大AI功能，涉及视频、图片、音频等多模态领域15 图表17：2023年以来万兴T2V/I产品相继更新/发布16 图表18：万兴旗下T2V/I多款拳头产品已进行AI功能更新，价格/月活/收入数据相对积极17 图表19：AI赋能万兴订阅收入占比及订阅续约率双双逐年增长17 图表20：美图发布MiracleVision4.0赋能多行业生产力工作流，开放API支持T2I/I2I功能18 图表21：2020年以来美图订阅业务收入占比逐年增长19 图表22：推荐关注创意软件厂商万兴科技、美图公司；AI技术龙头虹软科技、科大讯飞19 扫码获取更多服务 1.1Sora问世：OpenAI发布视频生成大模型，剑指物理世界通用模拟工具 2月15日，OpenAI发布视频生成大模型Sora。OpenAI基于Transformer架构的Sora大模型能够生成长达一分钟的高清视频，同时可以指定视频时间长度、分辨率与宽高比。OpenAI研究团队认为，Sora的问世一定程度上意味着扩展视频生成模型是构建物理世界通用模拟器的重要潜在途径。 图表1：OpenAI发布文生视频大模型Sora 来源：OpenAI官网，国金证券研究所 1.2技术路径：基于Patches视觉特征标记的DiffusionTransformer模型 Sora取法Tokens文本特征标记，是基于Patches视觉特征标记的DiffusionTransformer模型。OpenAI研究团队从LLM中汲取灵感，认为LLM范式的成功在一定程度上得益于Tokens的使用，Tokens统一了代码、数学和各种自然语言的文本模式。类似于LLM范式下的Tokens文本标记，Sora创新性地使用了Patches（apartofsomethingmarkedoutfromtherestbyaparticularcharacteristic；视觉特征标记）。鉴于Patches之前已被证明是视觉数据模型的有效表示，OpenAI研究团队进一步研发发现Patches是一种高度可扩展且有效的表示，可以被用于在不同类型的视频和图像上训练生成模型： Step1将视觉数据转化为Patches（Turningvisualdataintopatches）：将视频、图像等视觉数据压缩至低维的潜在空间中，并将其分解为带有时空（Spacetime）特征的Patches（若为图像，则对空间特征进行分解），从而将视觉数据转换为Patches。 Step2构建视频压缩网络（Videocompressionnetwork）：OpenAI训练的视频压缩网络将原始视频作为输入，并输出在时间和空间上都经过压缩的潜在特征。Sora在这个压缩的潜在空间中接受训练并生成视频。OpenAI还训练了一个相应的解码器模型，该模型将生成的潜在对象映射回像素空间。 Step3提取视觉数据的时空潜在特征（SpacetimeLatentPatches）：给定一个压缩的输入视频，提取一系列时空特征Patches（此方案也适用于图像，因为图像只是单帧视频）。基于Patches的表示使Sora能够利用不同分辨率、视频时间和宽高比的视频和图像进行训练。在推理时，可以通过在适当大小的网格中排列随机初始化的Patches来控制生成的视频的大小。 Step4推广Transformer模型到视频生成领域（Scalingtransformersforvideogeneration）：Sora是一个DiffusionTransformer模型，给定输入的嘈杂（noisy）Patches（以及文本提示等条件信息），它被训练来预测原始的干净（clean）Patches，继而生成高清视频。随着训练计算量的提高，样本质量也明显提高。 扫码获取更多服务 图表2：Sora技术路径：基于Patches视觉特征标记的DiffusionTransformer模型 来源：OpenAI官网，《Auto-EncodingVariationalBayes》（DiederikP.Kingma&MaxWelling，2022），《High-ResolutionImageSynthesiswithLatentDiffusionModels》（RobinRombachetal，2022），国金证券研究所 1.3算法实现：Patches实现更灵活的采样+更优化的构图 WhyPatches？——更灵活的采样+更优化的构图。 从训练角度而言，基于Patches视觉特征标记对原生视频进行采样扩大了可用样本的规模且省去了标准化样本的步骤。对于不同分辨率、视频长度和宽高比的视频，以往常见的做法是将视频剪辑、调整大小或修剪到标准格式（例如：分辨率为256x256的4秒视频），而Sora则基于Patches视觉特征标记对原生视频进行采样（Sora可对宽屏1920x1080p视频、垂直1080x1920p视频以及介于两者之间的所有视频进行采样）。 从推理角度而言，基于原生视频训练的模型在生成新视频方面改善了构图和取景。如 扫码获取更多服务 下图所