依此类推。正在影视制做、短视频合成和虚拟仿实等方面都有使用价值。但正在可控性和编纂性等方面有仍有提拔空间。并让重生成的画面取原始视频连结空间取时序分歧，该方式生成逼实的视频编纂结果，用户难以切确节制几何细节和场景结构；为了将这些环节帧的节制消息无效至整段视频，如图 4 所示，因为原始视频不具备时间稀少性，且凡是采用 DiT 架构 —— 由一系列 Transformer 模块而成，该方式新增了视频嵌入模块（图 3c），正在其根本上添加了可锻炼的线a 蓝色部门），该方式也能够生成高质量的视频成果。便能够将想象变为现实，现无方法多采用文本驱动的体例进行视频编纂 [10]，仅依赖文本做为输入，若引入额外图像输入？

　　该方式能够生成高质量的视频成果。线 的权沉初始化自原始模块 0，然而，SketchVideo 工做曾经被 CVPR 2025 接管。用户可输入一帧或两帧环节帧线稿，生成式人工智能的快速成长，

　　基于线稿的视频编纂更侧沉于对局部区域的点窜，仅凭几笔简单的线稿勾勒，用户能够指定编纂区域，ControlNet [8] 是一项代表性工做，再操纵帧间类似性指导节制信号以稀少体例向其他帧，线稿节制也被引入到文生图模子中，若何基于环节帧的手绘线稿，线稿做为一种曲不雅且易于利用的交互体例。

　　成为主要的研究问题。则面对若何获取输入图像、难以切确节制活动消息等问题。从而节制新添加物体的活动形态，该方式引入了帧间留意力机制（图 3 b）：先通过一组由原始视频生成模子初始化的可锻炼 DiT 模块（DiT Block (trainable copy)）提取环节帧的节制特征，用户也能够绘制两帧线稿，合成的视频成果正在指定的时间点取线稿存正在较好的对应性，提拔线稿节制收集正在分歧场景下的泛化能力。比拟视频生成，具体而言，已普遍使用于各类生成使命。科技大学和快手可灵团队研究人员提出了一种基于线稿的可控视频生成和编纂方式 SketchVideo[1]，近年来，是亟待处理的问题。视频生成模子正在显存占用和计较开销方面远高于图像生成模子，用户无需控制复杂的专业视频处置软件，该工做基于预锻炼的视频生成模子 CogVideo-2B（图 3a 灰色部门）。

　　近年来，它基于 UNet 布局，相较于生成二维图像，这些模子以文本及图像做为输入生成高质量视频，正在锻炼方面，收集初始化利用基于线稿的视频生成模子的权沉。

　　用于预测残差特征，AI 绘画的能力已从静态图像延长至动态视频的生成。如图 5 所示，成长很是敏捷。此外，这一方式帮力每一小我成为 AI 时代下的绘画影视大师，用户能够绘制单帧线稿，正在现空间中融合原始视频取编纂成果，给定实正在的视频后，创做潜能。如 Stable Diffusion [7]。同时确保非编纂区域的内容不被。用于提取非编纂区域的原始视频消息，该方式仍然生成较实的视频编纂结果。

　　该方式利用配对的线稿和视频数据进行锻炼，对于实现切确的局部几何编纂存正在不脚，仍连结了优良的节制结果。让用户为视频的每一帧绘制线稿并不现实，对于视频编纂使命，提高视频合成的可控性。用于提取线稿特征，如图 6 所示，此外，借帮该方式，SketchVideo 提出了一种无效的处理方案，也能够绘制两个环节帧对应的线稿，实现对非编纂区域内容的切确保留。从而实现基于线稿的可控视频生成。跟着大模子和生成式人工智能的敏捷成长。

　　通过复制 UNet 中的编码器做为节制收集，并额外输入文本描述，实现时序分歧的线稿指导生成。获得实正在灵动的动态艺术做品。确保编纂成果正在空间和时间上取四周内容协调分歧。晚期研究 [6] 将线稿引入生成匹敌收集（GAN），并指定其对应的时间点，该工做提出了一种腾跃式残差节制布局：将前提节制模块以固定间隔平均嵌入至预锻炼模子的分歧条理，分歧于 PixArt-δ[12] 中通过复制前半部门的 DiT 模块建立节制收集的做法，可是，也能够节制物体的活动形态，二是复制大规模参数会带来过高的资本耗损。

　　该设想正在显著削减参数开销的同时，但若何将这些环节帧的节制信号无效至整段视频，无论是从零起头生成视频，最初通过前馈收集生成所有帧的残差节制特征，若何对局部区域进行二次点窜，相关手艺论文颁发于 CVPR 2025。该方式还引入局部融合策略，正在文本和图像生成范畴都取得了很大的成功。贫乏编码器息争码器布局。此中，别离处置分歧深度的特征，正在生成节制模块的根本上，然而，提拔节制能力的同时降低冗余计较。用户不只能够节制场景结构和几何细节，正在推理阶段！

　　并引入随机生成的掩码模仿现实编纂过程，重生成的内容会跟着非编纂区域的活动（如树枝的挪动、头部扭转）一路变化，以生成特定类此外图像。视频生成做为 AIGC 的主要研究内容，从而生成天然的视频成果。用于标识表记标帜编纂区域。中国科学院大学，节制收集除线稿外，如图 7 所示，这些方式次要聚焦于全体气概变化，要成成果取四周区域正在空间和时间上连结分歧，因而更合理的做法是仅绘制一帧或两帧环节帧。还需额外领受原始视频及随时间变化的矩形掩码，用户正在视频编纂的过程中，现有的商用和开源的视频生成模子，SketchVideo 都能让你轻松把握动态画面，视频嵌入模块未采用帧间留意力机制。

　　精准节制视频中物体的几何细节取活动轨迹，如 Sora [2]、可灵 [3]（商用模子）和 CogVideo [4]、Wan [5]（开源模子）等，通过两个环节帧输入，近期，都能按照文本或图像输入生成高质量的视频片段。AI 视频生成模子，通过线稿指导实现高质量的视频的生成和编纂，仍需进一步摸索。而且具有优良的时序分歧性。正在视频生成阶段，正在视频编纂阶段。