AI视频生成与数字人技术的发展

Stable Diffusion、DALL·E、Midjourney等图像生成技术的突破，推动了视频与数字形象生成的发展。其中，将“静态图像＋语音或动作输入”转换为视频的技术，为虚拟形象、数字主持人和虚拟艺人等应用提供了基础，在媒体、营销、直播、游戏和教育等领域受到关注。

本文梳理虚拟人物与数字人生成技术的发展，包括开源实现和研究项目。重点介绍以下两个项目，并分析与之相关的技术体系：

• MoDA（Mapping-Once Audio-driven Portrait Animation）
• LivePortrait（Efficient Portrait Animation with Stitching / Retargeting）

技术分类与架构

数字人生成技术可从以下几个维度进行分析。

MoDA：音频驱动的人像动画

概述

MoDA全称为Mapping-Once Audio-driven Portrait Animation with Dual Attentions，是一种根据音频生成动态人像的方法，旨在协调嘴唇、头部与眼部动作，形成自然的动画效果。
其核心思路是引入双重注意力机制，分别处理口型同步与其他面部动作，再将结果整合。整体分为三个阶段：

1. Mapping-Once网络
一次性将音频映射为中间的说话者或动作表征
2. Facial Composer网络
生成精细的面部关键点
3. Temporal-Guided Renderer
在保持时间一致性的同时渲染最终视频

这种分离处理方式便于分别优化口型与头部、眨眼等动作，并改善它们之间的协调。相关实验显示，与既有方法相比，该方案在自然度和表情表现方面具有优势。

优势、限制与应用方向

优势

•专注于音频驱动的面部动画，可直接用于语音驱动数字形象
•架构相对简洁，便于增加控制功能及扩展能力
•具备向多说话者及更多面部形态扩展的空间

限制与挑战

•尚不支持背景、全身动作、行走等面部以外的内容生成
•高分辨率输出与面部细节表现可能存在限制
•需要针对长时间序列的稳定性与动作抖动进行调优

应用方向

•与旁白同步讲话的虚拟人物，例如AI播报员或服务角色
•在线教育及语音交互式客服数字形象
•直播辅助及声画同步的虚拟角色表演

LivePortrait：高效人像动画与动作重定向

概述

LivePortrait是KwaiVGI在GitHub发布的开源实现，可将参考视频中的动作迁移到静态人像上，生成自然的面部动画。

其关键概念是拼接（Stitching）和重定向控制（Retargeting Control）。通过组合与插值不同动作来源，系统能够将参考视频中的动作应用到另一张人脸上，同时保持动作衔接流畅。

GitHub仓库提供PyTorch实现，为后续改进与扩展提供了基础。

优势、限制与应用方向

优势

•支持将动作应用到静态图像这一典型工作流程
•架构便于组合动作并控制插值过程
•开源实现便于定制修改及与其他模块集成

限制与挑战

•音频驱动的口型同步需要结合其他方法实现
•在分辨率与面部细节保留方面仍存在限制
•时间一致性与抖动控制仍可能需要进一步改进

应用方向

•将参考视频中的动作迁移到其他人像
•角色动画制作与视觉特效辅助工具
•基于用户照片生成带有表情的视频内容

其他值得关注的相关技术

除MoDA和LivePortrait之外，了解以下研究与技术趋势，也有助于规划后续扩展及实际应用。

Veo（Google / DeepMind）

2024年5月，Google发布了主要由DeepMind参与研发的文本生成视频模型Veo。

•Veo可根据自然语言提示生成视频，相关报道提到其目标包括1080p分辨率的较长视频。
•关于后续版本Veo 2和Veo 3的报道，还提到了与视频同步生成音频的发展方向，包括背景音乐和音效。
•不过，Veo属于通用视频生成模型。在本文撰写时，针对人脸数字形象及其动作的精细控制仍较有限。

将通用视频生成与MoDA、LivePortrait等面部动作控制技术结合，是值得探索的架构方向。

Sora（OpenAI）

OpenAI于2024年2月发布文本生成视频模型Sora。

•Sora可生成约一分钟以内的视频，目标包括较细致的景深、场景变化与物体运动表现。
•但仅依靠Sora，尚不足以满足精细的数字形象控制、口型同步及用户指定动作等要求。

将通用生成模型与MoDA、LivePortrait等面部专用模块结合的混合架构，也是后续研究与实现的方向。

技术体系概念图

下图从通用视频生成、人脸数字形象模块和加速技术三个方面，对本文介绍的技术进行了归纳。

以这些模块为基础规划架构，并分别进行改进与优化，是构建数字人生成平台的一种基本思路。

实际应用与业务落地中的问题

应用场景示例

•使用虚拟人物制作营销视频与公关内容
•提供语音讲解的虚拟播报员或旁白角色
•虚拟主播、虚拟主持人与直播辅助
•教育及在线学习中的交互式数字形象教材
•结合语音交互与面部表情的AI客服数字形象

挑战与风险因素

1. 合成内容与深度伪造风险
生成视频可能被误认为是真实人物，因此实施时需要考虑水印、检测与可追溯机制。
2. 版权与肖像权
面部、语音与动作数据可能涉及复杂的权利关系，需要做好许可管理，并明确数据获取规则。
3. 动作与面部表情不自然
较长的视频可能出现抖动、动作中断、面部变形或光照不协调等问题，需要通过稳定性设计控制质量。
4. 计算成本与实时性能
模型规模、采样步数、推理速度与GPU成本，都会形成实际约束。
5. 多样性与公平性
设计时需要考虑说话者特征、肤色、年龄与表情多样性，并关注训练数据中的潜在偏差。
6. 用户体验与操作设计
应为内容创作者提供易用的动作调整、表情编辑与同步控制界面。

建议的实施步骤

1. 构建原型
基于MoDA或LivePortrait，构建从语音及参考人脸到视频输出的基础流程。
2. 评估质量并调优
结合定量与定性方法，评估帧间一致性、抖动控制及表情自然度。
3. 加速与优化
考虑蒸馏、量化，以及与单步生成模型的混合集成。
4. 扩展控制功能
增加动作编辑、动作迁移、循环生成及交互同步功能。
5. 落实安全与伦理措施
规划合成内容检测、水印标识、使用政策及必要的使用限制。

结语

MoDA和LivePortrait为面部动作生成提供了专业技术模块，尤其适合重视可控性与编辑能力的应用。要进一步满足画质、实时性能、安全与交互方面的实际要求，还需要将这些模块与通用生成模型及加速技术进行合理整合。