【创造赛博世界】AI短视频特效创作解析
From：有光AI
Date：2024.3.19
同学们好，今天我们来聊聊AI短视频特效制作。
认识特效
首先，什么是特效呢？顾名思义，就是特殊的效果。一个相对完整的定义是：特效是指在戏剧、电影、电视、电子游戏和模拟器行业中用于模拟故事或虚拟世界中在现实里存在或不存在的事物的技术。
分类
特效可以分为特殊摄影（将不存在的事物实现的技术之一）、特殊美术与合成（即视觉效果）。
我们先来看一个 Autodesk Media 部门发布的一个特效短片。看完以后，大家对于特效应该会有一个更深刻的了解。
传统的特效软件有一个比较明显的共通点——难度大。Autodesk Maya、3Dsmax、Houdini 都是好莱坞常用到的3D特效软件。
特殊摄影，简称特摄。指的是使用大量特效的真人电影、电视剧的一种类型。比如著名的《哥斯拉》、《假面骑士》、《奥特曼》系列。
此次分享，我们主要讨论视觉效果。
视觉效果，简称视效或 VFX（Visual effects）。利用影片和电脑生成的图像或影像合成，来创造一个看起来真实的效果或场景，可取代较为危险、昂贵、或者根本不可能实现的状况，例如使用视觉效果取代危险的爆破效果或高空场景，避免演员搏命演出等。
大多数的视觉效果是由后期制作完成的，如图形设计、建模、动画，但是在前期制作和电影制作阶段也经常需要对视觉效果做精心设计和准备。在具体的影视特效制作流程中，VFX 也常指其中一个环节。
在影视及多媒体领域中，特效是一种重要的视觉表现手段。它通过各种技术手段，创造出超越现实的视觉效果，增强观众的视觉体验。
我们可以看到使用特效的影片已经越来越多，其在影视及多媒体领域中的作用已不可或缺。《沙丘》、《钢铁侠》、《阿丽塔》、《流浪星球》都使用了大量的 VFX 特效。
行业流程
影视行业中，特效的制作并不简单。为了让观众在银幕上看到逼真的虚拟效果，特效师们必须经过一系列的工作流程，使用到各种软件和工具。一般会有这样一些步骤：
-
确定创意阶段。首先，特效团队需要了解导演和制片人对特定场景或角色的视觉设想，这一阶段通常涉及到大量的沟通和初步的概念设计。一旦创意方向确定后，特效师们便会开始进行更为详细的预制作工作。
-
预制作阶段。预制作过程中，特效团队会创建故事板（Storyboards），这些类似于连环画的图像能帮助团队成员理解场景的整体布局和动态。接着，概念艺术家会进一步绘制概念艺术图（Concept Art），为后续的模型和环境设计提供直观参考。与此同时，预可视化（Previs）团队会利用三维动画来粗略模拟场景，确保动作编排和摄影机位合理可行。
-
建模和纹理贴图阶段。这个阶段，艺术家们会使用专业的三维建模软件，如 Autodesk Maya、3ds Max 或者 Blender 等，根据概念设计来创建精确的三维模型。然后，他们会为模型添加纹理和材质，让他们看起来更加真实。
-
动画和动力学模拟阶段。特效师会利用动画软件，如 Maya或 Houdini，给模型赋予生命力，让它们能够按照真实的物理规律进行运动和变形。这一过程往往需要大量的手动微调和细致的工作。
- 特效（VFX）阶段。很多影迷把所有在影片中出现的所有虚拟的视觉元素统称为特效，但对多数 CGer（指 CG 从业者）来说，特效主要指的是粒子特效，即液体、火焰、烟雾、风暴、爆炸等。
- 光照和渲染阶段。在这个阶段，艺术家会设置复杂的光源，并使用渲染引擎，如 RenderMan 或 V-Ray，来计算光线如何与场景中的物体互动。这一步骤对于创造真实感和深度至关重要。
- 合成阶段。合成是将特效融入实拍画面的过程。艺术家会使用合成软件，如 Adobe After Effects 或 Nuke，将三维渲染的特效元素与实拍素材相结合，调整颜色、亮度和透视，以确保两者无缝对接。
我们再来看一个小短片，了解一下3D软件和2D软件之间的配合。
创意短视频 Maxon One | Substance 3D | After Effects
了解短视频特效
刚刚我们已经了解到，过去影视行业制作特效的传统方法相对繁杂，实现起来是一个系统性的工程，但在自媒体短视频领域，特效的实现就相对轻松许多。如今，得益于AI等技术的飞速发展，我们可以看到特效的应用已经变得极为普遍和重要。通过各种视觉和听觉的特效，视频创作者们能够更好地吸引观众，传达出更丰富的信息，同时也增强了内容的传播力。
例如，抖音、小红书等平台上的许多创意视频、剧情短片、数字人直播乃至各种换脸拍摄功能，就用到了各种特效，使原本平淡的内容变得更加生动有趣，从而吸引更多的观众。
AI 特效 Stable Diffusion | Blender
一般情况下，自媒体短视频的特效不需要非常精细，相对于影视行业来说制作门槛低很多，对很多对自媒体感兴趣的同学来说是一个性价比不错的技能。同时，自媒体行业创意空间非常大，我们也无法很好地将其特效应用进行分类，并没有单一死板的创作套路。
💡划重点：所以在学习的过程中，同学们要尽量理解其本质逻辑，掌握一些基本操作和创作思路，而后放开手脚，发挥自己无限的创意。
给大家推荐一个影视后期大佬 Zach King，我们也叫他“男巫”。
AI 赋能短视频特效
相关原理
在影像领域，AI 的应用一般就指 AIGC（人工智能生成内容，Artificial Intelligence Generated Content）。
AIGC 技术的运作原理主要是通过深度学习和神经网络算法，自动学习和理解数据模式，然后根据这些模式生成新的内容，例如文本、图片、视频、音乐等。这极大地丰富了创作者的灵感来源和表达方式，也使得没有专业知识背景的用户也能快速制作出专业级别的视频特效。
认识软件
为了实现 AI 驱动的视频特效创作，市场上涌现了许多强大的工具和软件。比如 Midjourney、StableDiffusion、ComfyUI、Runway、Adobe Firefly 等。这些工具和软件都配备了先进的 AI 算法，可以快速理解和执行用户的需求，生成符合用户期望的作品。
Tripo/Meshy AI 3D建模
上面这些都是大家熟知的，除此之外，还有很多有趣有用的工具值得同学们尝试，比如Tripo。它是由前商汤科技通用模型负责人宋亚宸带领的团队开发的一个3D大模型，它是一个利用人工智能技术生成3D模型的平台。Tripo AI 能够根据用户的文字描述或图像快速生成高质量的3D模型。
Meshy 是一款免费的 AI 3D模型生成器，可根据文字描述生成3D模型。该程序用途广泛，可创建各种艺术风格的3D模型。它还易于使用，能快速创建模型。总的来说，Meshy 是一款功能强大的工具，可用于创建各种3D模型。
我们后面还会介绍到他们。
Wonder Studio
Wonder Studio，这是一款可以自动对 CG 角色进行动画、灯光和合成，融入真实场景的 AI 工具。
Wonder Studio是 AI 视效领域很出圈的产品了，一会儿我们会带大家详细实操一下。
ViggleAI
ViggleAI 是一款新的 AI 视频制作工具，它可以通过文本或视频生成带有指定动作的角色，从而提升 AI 视频中人物行为的可控性。可以说，这款产品是整活爱好者的一大福音。
DeepFaceLab
还有如 DeepFaceLab 这样的 AI 换脸工具。AI 换脸是采用生成式对抗网络的人工智能算法，替换视频中的人脸。DeepFaceLab 就是一个 github 上的开源工具。
Adobe Firefly
Adobe Firefly 是 Adobe 推出的一系列创意生成式人工智能模型，旨在通过 AI 技术提升创意工作流程的效率和质量。它集成在 Adobe 的旗舰应用程序中，如 Photoshop、Illustrator 和 Adobe Stock，支持用户通过简单的文本提示生成图像、添加文本效果、填充图像区域等，显著改进了创意和设计过程。
创作思路/要点
我们来对短视频特效做一个简单的梳理，可以发现其要点主要就是两步：一步是元素的生成，一步是融合。其中，虚拟元素的生成可以是粒子、雨雾等道具、也可以是大场景；融合是通过抠图、追踪、绑定以及色彩光影的处理将特效更好地融入画面。
这两步我们都可以使用 AI 工具来进行创作，其中主要是“生成”这一步会用得更多些。了解了一些基本的原理，现在我们来看一些实操案例。
实操演示
使用 Tripo 为特效创建3D元素
曾令无数设计者熬夜头痛的3D建模，如今也能通过文字生成模型及图片生成模型一步到位了。其中目前较为成熟的当属 Tripo。下面我们一起来生成一个专属于我们的3D模型。
第一步：打开浏览器搜索“Tripo”，点击官网进入。或直接输入网址：https://www.tripo3d.ai/app
第二步：登录账号。在第一行输入邮箱，勾选下方两个“已读协议”与“同意协议”，点击“Send Code”，邮箱里便会收到一列号码，将号码输入至第二行，点击进入编辑界面。
第三步：
若想文字生成3D模型图：输入提示词（中英文均支持）。点击 Creat。等待加载四张3D模型图（大概10s左右）。若想图片生成3D模型图：点击输入框最右侧的图标上传图片，点击 Creat，便可将图片转为一张3D模型。
下面我们以提示词为“A cartoon white rabbit in a straw hat gnawing on a carrot, with big red eyes, and a small yellow floral dress.”做一个小案例。
案例链接：https://tripo3d.ai/preview?share=090ebe9e-c440-4c08-92fd-66f73452b4eb
第四步：任意点击图片放大一个模型。通过滑动滚轮可放大或缩小模型。通过拖动鼠标可以任意角度旋转模型。但此时生出的模型较粗糙。
第五步：点击右下角“Refine”可以细化模型。等待大概5分钟左右。
第六步：在精细化模型的右侧第一个模块，点击“Rig”，我们可以进行对模型进行“绑骨”，再点击站立、走、跑、潜水四个动作可以让其简单地动起来。
第七步：第二个模块中我们可以对模型的风格进行调整。点击第一个图标可以将其转换为乐高风格。
点击第二个图标可以将其转换为像素化的风格。
点击第三个图标会形成泰森多边形的风格。
第八步：右侧的第三个模块可以对模型进行自定义操作，将模型下载下来并导入到其他3D建模软件中进行重拓扑。
使用Wonder Studio创作创意小短片
刚刚我们介绍到，Wonder Studio 是一个很出圈的工具，其 AI 渲染能力非常强大。那它具体能做出什么样的效果呢？现在我们来看看其在短视频领域的应用实操。
创意小短片《怪》：
这是一个非常简单的应用，创作者使用 Wonder Studio 将手机拍摄的短视频进行了一些处理，把一些真实的人变成了 CG 角色。虽然我们能够看出来很多细节还是有瑕疵的，但是放在平时，想要实现这样的效果，一般也需要专业的软件进行建模、渲染、追踪、绑定等之前我们介绍过的一系列操作，但是有了 Wonder Studio 后，只用简单的几步就可以实现。
第一步：打开手机，拍摄一段有人物的小素材。可以边走边拍、可以移动。但是还是尽量不要有太夸张的抖动。
第二步：打开浏览器搜索“Wonder Studio”，点击官网进入。或直接输入网址：https://wonderdynamics.com/
第三步：登陆账号，若没有账号点击“Sign Up”注册一个。注意：Wonder Studio 是收费的，个人创作者可以购买一个最基础的版本，平时玩玩也足够了。进入用户界面后点击“create new project”，继续点击“Continue”，进入编辑界面。
第四步：，将拍摄到的原素材上传，并拖到时间线上。
第五步：点击上方“Next”，进入角色界面，此时会出现一个弹窗，点击即可，等待其识别。
第六步：点击识别出来的人物（周围会出现一个线框），并点击（也可以拖动）右侧角色面板里的角色，替换识别出来的真实人物。
第七步：替换好后，继续点击上方的“Next”，选择自己想要的参数，点击“Start Processing”导出。渲染完成后，点击“Export Video”，下载视频。
至此，我们就完成了一个 Wonder Studio 的基本工作流。
🤔请思考：之前我们讲到了 AI 短视频特效的制作思路就是【一生二融合】（即第一步生成元素，第二步融合）。在这个案例中，Wonder Studio 发挥了哪一步的作用？
💡划重点：现在市面上很多 AI 工具的操作逻辑都不算难，难点在于如何将其运用得当，更好地表达出你的创意。
使用 ViggleAI 让图片人物一键跳舞
现在我们来看第二个案例：使用 ViggleAI 让你的图片动起来。看完后你会发现，这个工具实在是非常地适合自媒体短视频领域。
怎么样？是不是非常地离谱，经不起推敲，但是又挺合理、对肢体的控制还挺厉害的？
ViggleAI 在上线之后很快就引起了关注，因为它解决了 AI 视频生成中一个非常重要的问题——如何准确控制角色的肢体动作。之前我们了解的一些 AI 视频工具，基本都是通过文本或者图像来生成视频，是对画面整体添加动态，很难准确控制人物动作；Viggle 则是将人物动态单独拿出来处理，让真人动作能完美复制到另一个角色身上，这样无论是哪种姿势都是可以实现的。
来，跟着我，一起快速实现这样的效果。
第一步：准备好一张全身照（可以是自己的也可以是虚拟人物），准备一个短视频，包含你想要实现的动作。
第二步：输入网址 https://www.viggle.ai 进入官网，点击“Join the beta”授权 Discord 托管服务。（如果你还没有 Discord，可以先注册一个）
第三步：在 Discord 社区中进入任意一个 animate 频道，输入 /mix，然后在弹出的文件框中上传你的图像和视频。图像人物要清晰，最好是全身正面照；视频大小小于 25MB，分辨率高于 720p；然后设置背景颜色（白色/绿色），以及开启 finetune 微调。设置完成后，按 Enter 发送，完成后会自动返回生成结果。
第四步：生成成功后，查看视频，点击右上角下载。
至此，我们就完成了一个 ViggleAI 的基本工作流。
🤔请思考：ViggleAI 是实现了【一生二融合】的哪一步？ViggleAI 能否和 Wonder Studio 搭配使用？
💡划重点：ViggleAI 不止这一种工作流，它还支持【图片+prompt】等方式控制人物肢体，小伙伴们快去试试。
进阶案例
接下来再为大家分享几个 AI 特效的进阶案例，为小伙伴们提供一些灵感。
案例1 Stable Diffusion 将草图生成视效元素
在 Stable Diffusion 上使用基础模型结合 ControlNet，实现将线稿变成色彩艳丽的动漫特效元素。
案例2 AI 小插件—AutoFill 实现特殊效果
Adobe After Effects 中有非常多的插件，这些插件使 AE 非常强大，能够实现很多惊艳的效果。这里分享一款字体的 AI 小插件，能够一键为字体带来非常炫酷的效果。
案例3 Midjourney 生成场景+AE 融合
这个案例非常的重磅。它是由好莱坞大神分享的影视特效制作新姿势：将 Midjourney 引入特效创作中。在这个案例中，Midjourney 承担了【元素生成】的关键一步，AE 则承担了【融合】的关键一步。
案例4 Adobe Firefly
这几个案例都充分展现了 AI 在特效创作中的潜力与可能性，它们不仅为我们带来了全新的视觉体验，也改变了传统的创作方式。
总的来说，AI 在短视频特效创作中的运用，无疑为我们打开了全新的创意空间，让短视频的创作更为便利和高效。
拓展内容 AI 音频处理 ElevenLabs
总结
今天我们重点介绍了 Wonder Studio 和 ViggleAI 的基本操作，时间有限，但内容也不少。小伙伴们课后要好好总结复盘一下。更多的分享与更进阶的教学，还请大家持续关注后续课程。
短视频特效的流行趋势正在持续升温，这得益于技术的不断创新和用户需求的变化。随着 AI 技术的发展，我们期待未来会有更多突破性的技术出现，例如高效的实时3D渲染，智能场景分析等，这些都有可能为短视频带来全新的体验。总的来说，未来短视频特效与 AI 的结合，将推动整个行业的飞速发展。
推荐练习
📖课后练习1：使用 Wonder Studio 创作一个短视频。
📖课后练习2：使用 ViggleAI 的【图片+视频】和【图片+prompt】两种方式，分别创作两段有趣的短视频。
评论