Nvidia发布了Omniverse Audio2Face 2022.1版 更新Audio2Emotion系统

[复制链接]
抱着猫的老鼠 发表于 2022-8-15 08:58:21 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
Nvidia发布了Omniverse Audio2Face 2022.1版 更新Audio2Emotion系统


视频预览:

(面部动画和情绪控制)



Nvidia已经发布了Omniverse Audio2Face 2022.1,这是其基于人工智能的实验性免费软件的最新版本,用于从音频源生成面部动画。


该版本增加了Audio2Emotion:一个新的系统,可以从演员的声音中检测他们的情绪状态,并相应地调整3D角色的表现,使其能够表达喜悦或痛苦等情绪。


该底层技术构成了Omniverse Avatar Cloud Engine的一部分,Omniverse Avatar Cloud Engine是Nvidia在Siggraph 2022上宣布的一套即将推出的用于生成交互式在线化身的AI模型和服务。


从音频文件中为Character Creator角色自动生成唇部同步和面部动画
去年首次发布的Audio2Face是一个经过人工智能训练的工具,用于从音频源生成3D角色的面部动画:无论是离线的语音记录,还是实时的音频传输。


与姐妹应用程序Omniverse Machinima一起,该软件是Nvidia围绕Omniverse开发的一套新游戏工具之一,Omniverse是其基于美元的实时协作平台。


除了在Omniverse内部使用其生成的动画外,用户还可以将其输出转换为混合形驱动的动画,并以美元格式输出到其他DCC应用程序。


现在自动修改面部表情以配合演员的情绪状态
为此,Omniverse Audio2Face 2022.1增加了对面部情绪的支持,通过一个全脸神经网络 "用一系列的情绪训练,如喜悦、惊讶、愤怒和悲伤"。


新的Audio2Emotion系统从演员的声音中推断出他们的情绪状态,并相应地调整它所驱动的3D角色的面部表现。


其结果是自动生成的动画,不仅包括与音轨相匹配的嘴唇和面部动作,而且包括与演员的情绪变化相匹配的表情变化。


用户可以使用一套简单的滑块控制,或通过传统的关键帧编辑来手动调整表演:除了新的情感面板,软件的后期处理面板中还增加了一个新的 "简单关键帧UI"。


视频预览:

(NVIDIA Omniverse ACE:用于交互式头像开发的云端原生AI)



Nvidia即将推出的Omniverse Avatar云引擎的部分基础技术
Audio2Face和Audio2Emotion的底层技术也构成了Omniverse Avatar Cloud Engine(ACE)的一部分,这是Nvidia新的 "用于互动化身开发的云原生AI"。


这套人工智能模型和服务是针对软件开发人员的,旨在简化游戏和实时应用程序中创建聊天机器人、虚拟助手和NPC角色的过程。


它被设计成与平台无关--上面的演示显示用户与虚幻引擎中的Metauman角色互动--并将在明年发布时在嵌入式系统和 "所有主要云服务 "上运行。


价格和系统要求
Omniverse Audio2Face在Windows 10上有测试版。它需要一个Nvidia RTX GPU:该公司建议使用GeForce RTX 3070或RTX A4000或更高。所有的Omniverse工具对艺术家个人都是免费的。


更多CG资讯请关注:https://www.rrcg.cn/forum-612-1.html

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注1

粉丝1181

帖子35699

发布主题
关闭

精华推荐上一条 /8 下一条