摘要：机器之心发布机器之心编辑部还记得半年前在 X 上引起热议的肖像音频驱动技术 Loopy 吗？升级版技术方案来了，字节跳动数字人团队推出了新的多模态数字人方案 OmniHuman, 其可以对任意尺寸和人物占比的单张图片结合一段输入的音频进行视频生成，生成的人物视
机器之心发布机器之心编辑部还记得半年前在 X 上引起热议的肖像音频驱动技术 Loopy 吗？升级版技术方案来了，字节跳动数字人团队推出了新的多模态数字人方案 OmniHuman, 其可以对任意尺寸和人物占比的单张图片结合一段输入的音频进行视频生成，生成的人物视频效果生动，具有非常高的自然度。如对下面图片和音频：
除了数值分析以外，作者也分析基于 Omni-Conditions Training 可以改善在人体手势生成、多样性输入图像上的视频生成效果，并展示了混合多模态训练可以使得单个模型同时兼容多种模态驱动，生成可控的生动人像视频的例子。结论OmniHuman 是一个端到端的多模态条件人像视频生成框架，能够基于单张图像和运动信号（如音频、视频或两者）生成人像动画视频。它提出了一个多模态混合训练的技术方案，并调研了具体的训练策略，设计了相应的多模态混合控制的人像视频生成模型，从而克服了以往方法面临的高质量数据稀缺问题，从大规模数据训练中受益，学习自然的运动模式。OmniHuman 显著优于现有方法，能够从弱信号（尤其是音频）生成生动的人类视频。它支持任意纵横比的图像（如肖像、半身或全身），在各种场景下提供生动、高质量的结果。团队介绍字节跳动智能创作数字人团队，智能创作是字节跳动 AI & 多媒体技术中台，通过建设领先的计算机视觉、音视频编辑、特效处理等技术，支持抖音、剪映、头条等公司内众多产品线；同时为外部 ToB 合作伙伴提供业界最前沿的智能创作能力与行业解决方案。其中数字人方向专注于建设行业领先的数字人生成和驱动技术，丰富智能创作内容生态。© THE END转载请联系本公众号获得授权 来源：科技拜师会
免责声明：本站系转载，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与本站联系，我们将在第一时间删除内容!
