数字分身技术:如何开启元宇宙探索之旅,打通虚拟与现实?

B站影视 2024-11-27 09:36 2

摘要:数字分身,属于虚拟数字人的一个细分类别,是一个基于人工智能和虚拟现实技术创建的虚拟人物,它可以根据特定真人的个人信息和偏好进行1:1的形象复刻。能够在数字世界中模拟真人,并具备与真人相似的外貌、声音、性格和行为特点,可在一定程度上代表真人参与虚拟世界的互动,可

数字分身,属于虚拟数字人的一个细分类别,是一个基于人工智能和虚拟现实技术创建的虚拟人物,它可以根据特定真人的个人信息和偏好进行1:1的形象复刻。能够在数字世界中模拟真人,并具备与真人相似的外貌、声音、性格和行为特点,可在一定程度上代表真人参与虚拟世界的互动,可实现会议出席、社交互动、娱乐体验、教育学习等多场景应用。

从不同的视觉效果、制作方式与技术要求上,数字分身可以分为两种类型:

1、2D平面真人数字分身:基于真人视频图片进行采集

2、3D建模数字分身:通过三维建模与渲染进行制作

京东采销东哥

2D平面类数字分身

2024年4月16日,京东集团创始人刘强东的AI数字人“采销东哥”在京东家电家居采销及京东超市采销直播间完成了直播带货首秀,数字人外观、动作及声音均接近真人刘强东。

数字人“采销东哥”的训练素材主要来源于刘强东的非正式谈话录音,以精确捕捉其自然语气和地方口音。在多模态训练方面,项目团队采用了大量数据进行深度学习,以适应不同的直播风格,结合视觉与语言理解技术,确保“采销东哥”在交流过程中,口型、肢体动作与语义表达高度匹配,呈现出高度逼真的交互体验。

元宇宙音乐会虚拟主持人杜杜

3D建模类数字分身

在首届湾区元宇宙数字艺术节上,由广州虚拟动力提供技术支持与服务打造的虚拟主持人“杜杜”在海心沙元宇宙音乐会中惊艳亮相,这一超写实3D数字分身的原型为广州广播电视台知名主持人杜雨轩老师。

在技术支持过程中,广州虚拟动力主要采用3D人脸扫描技术进行脸部建模,并经过精细化雕刻处理,实现了对杜雨轩老师1:1的形象复刻。并结合元宇宙音乐会的主题,为“杜杜”特别设计了一套融合科技感与时尚感的服装和妆造。

在海心沙元宇宙音乐会中,虚拟主持人“杜杜”与真人主持人杜雨轩老师进行了同台主持,并与现场嘉宾进行实时无障碍互动,为观众带来了沉浸式、高互动的视听体验。

01 数字分身解决方案

广州虚拟动力网络技术有限公司作为3D、AI虚拟数字人技术服务商,面向元宇宙技术开发/文化传媒/动漫影视/高校教育研究/泛娱乐直播/电商/等多个行业提供全栈式数字分身解决方案。

形象制作

2D数字人:

01 方法:平面人像采集

主要通过AI技术复刻真人,整体外形与真人相似,通过真人视频训练高度复刻真人形象、表情、妆容、神态以及动作。区别于三维立体的3D数字人,2D数字人主要以二维平面图像为载体,由AI算法对数字人的嘴型、动作进行驱动,服装固定不可更换。

适用于仅需平面展示的场景,如口播短视频、教育课程、新闻资讯的快速制作,以及直播带货等,为特定行业提供了高效的数字化解决方案。

3D数字人:

3D建模类数字人可通过动作捕捉设备实现数字分身的实时动态驱动,扩展了其在多样化场景中的应用。而2D平面类数字人则主要依赖AI算法驱动,不支持动作捕捉设备的实时驱动。

01、方法一:3D建模

可根据不同的应用场景与需求,进行数字分身形象的原画设计、三维建模、骨骼绑定、布料毛发解算、UE渲染等3D虚拟分身制作服务,打造出具有特色的数字分身形象。

适用于追求数字形象美观度、注重创意设计与个性化表达的人群,例如虚拟偶像、MCN主播、品牌形象设计等。

02 方法二:人脸扫描设备+3D建模

运用3D/4D人脸扫描设备产出脸部模型以及头部贴图,再进行三维建模等数字人制作流程,并根据用户需求进行服装、妆容等造型上的打造设计。

基于人脸扫描设备制作的数字分身尤其适用于名人形象复刻,例如企业家、知名主持人和明星等。这些模型能够精确保留和再现名人的外观特征,使数字分身能够以高度还原的形象代替真人参与各类活动。

4D人脸扫描设备支持20次/秒图片采集,可在短时间内快速实现大批量人脸模型重建,实现人脸表情的动态采集,直接输出包含丰富动态表情信息的三维人脸模型。

应用模式

广州虚拟动力数字分身解决方案,根据不同行业与应用场景,提供不同应用模式的技术支持。

1、AIGC短视频创作

根据所需要制作的视频内容,自定义输入文本,并选择合适的口播语音音色,系统将自动生成数字分身口播短视频。

免去真人出镜录制的繁琐流程,适用于会议演讲、电商运营、新闻栏目、课程教学等场景下的内容的常态化制作与发布。

2、AI交互数字人

面向文旅大厅、展厅展馆、政务大厅、金融等领域,搭建AI数字人交互系统,通过构建数字分身,承担公共服务职能,为用户提供专业的咨询问答和接待引导服务,实现智能化服务体验。

3、线上AI直播间

集内容创作、素材编辑、AI实时互动以及内容实时推流于一体的AI数字人内容创作平台。

适用于各类线上电商带货/获客直播,同时也可作为线上服务直播间的智能客服,提供咨询与在线问答服务,全面提升用户体验和业务效率。

4、动作捕捉+实时驱动(中之人模式)

*2D平面类数字人不支持动捕实时驱动

基于动作捕捉、面部表情捕捉设备,实现真人动作与表情的1:1精确还原。结合uelive数字人实时动捕系统,能够对数字分身进行实时驱动,并进行实时渲染与解算。

可将渲染后的虚拟画面同步传输至线下活动大屏幕或接入直播平台进行直播,适用于虚拟主持、AR虚实同屏互动、虚拟直播、实时会议等多种应用场景。

随着人工智能、虚拟现实等技术的不断发展,数字分身技术正在逐渐成熟并走向商业化应用。其应用场景也日益丰富,涵盖电商直播、元宇宙、数字艺术、教育等领域。未来,数字分身技术有望成为连接现实世界与虚拟世界的桥梁,为人们带来更加便捷、高效、沉浸式的体验。

*部分素材来源网络

来源:老尹的科学课堂

相关推荐