Rotobot自动转描技术全面解析 研究方向前景可观

[复制链接]
268 0
patchs-665x285.jpg

Rotobot是第一款应用于合成软件的AI产品,可以使用机器学习技术生成抠像。KognatSoftware公司已将其制作成Nuke的插件,虽然Rotobo的效果仍然粗糙,但是它为基于机器学习的自动转描技术提供了研究方向。

Rotobot可以分离出属于对象“语义”类别的像素实例,例如人、车等等。这意味着通过使用递归卷积神经网络(CNN)分析图像,可以分离属于81个类别之一的像素。这些类别中,每个分类最多有100个实例,可以实现一次分离。该技术对视觉特效制作意义重大,因为这意味着其可以生成临时应急的抠图。

布里斯班拍摄素材展示Rotobot技术:





但是效果还不够好,不足以应用在最终的转描效果中,但是有很多情况下,需要快速生成临时应急的抠图效果。通常手动进行快速转描或者过着将视频素材移交到国外的时候需要这样的抠图效果。即使在发展中经济体中使用专业工具,艺术家的工资很低,也需要花费大量的成本和时间。Kognat Software公司的创始人Sam Hodge 表示:“即使你可以找到每天仅收费100美元的艺术家,1秒钟的素材需要24分钟才能处理完,意味着一天的时候一位艺术家可以处理20秒素材。所以一个20秒的镜头,最少要处理一天的时间,成本是几百美元,还需要几个受过培训的艺术家同时工作。另外还要考虑制作软件的成本,例如Silhouette等等”。

高勒拍摄素材展示Rotobot技术:





Hodge指出虽然对高品质转描效果需求量很大,但是快速简洁的转描效果也有大量需求,这种效果被称为“Bash Roto”。该技术可以让艺术家们处理成本更高、更耗时的转描效果之前,先检查或者展示作品。Bash roto经常被应用于快速合成中,这里艺术家和总监可以研究想法并测试方法。这些效果通常会在工作室内部展示,不会在视觉特效设备之外展示。“Bash roto的成本是最终转描效果总成本的40%”,Hodge解释说。因为Bash roto通常不能被重复利用,成为成品遮罩的基础,所以通常被人们看作是一次性作品。“典型视觉特效镜头的Bash roto需要2-60个小时的工作量,时间取决于素材的长度、复杂性和遮罩所需元素的数量”,他补充道。

时间上的延迟和成本花费是Rotobot即将要解决的问题。就其本质而言,快速合成中的Bash roto需要快速完成。Bash roto的自动化制作可以节省大量时间。在足够规模的渲染农场中,可以从24小时的周转时间缩短到仅几分钟。这可以让下游艺术家更早地开始处理任务,同时完成更多并联工作。

狭长平底船素材展示:





OpenFX Rotobot插件可以一天24小时处理素材不停歇,仅受限于可用的许可证和硬件资源数量。Rotobot在标准笔记本电脑上(低配),通常只需12秒就能处理一帧画面。并且可以在一次计算中分离多达100个实例。无需专业GPU硬件。该插件以被证明可在2007年生产的,配备2GB内存的低端计算机中运行,虽然速度很慢。Rotobot将使用尽可能多的CPU资源,不会为多个元素增加额外的成本。Rotobot已经通过了世界各地的专业人士在Linux和macOS系统平台上的测试。许可证管理器支持浮动许可证,价格未公开,但估计每个许可证的价格将低于500美元。

品质

该程序被设计为带有不同品质级别的版本,从超快和粗糙,到更加精细的版本都有。但是即使是最高品质也只能保证大致正确。Rotobot制作的扫描效果暂时还不是特别稳定,因为通常帧画面之间会有闪烁。它制作出来的是每帧解决方案,所以没有可编辑的样条线可以修饰或继续处理最终效果。Kognat公司正在努力将效果的逼真度提升到更高的标准。但是暂时只支持快速合成操作。

rotobot_screenshot.png

工作原理

Kognat公司决定开始制作这个项目是在2017年11月份,Hodge在Facebook上发布提问,是否有人已经在制作这个项目了,因为他Facebook中的好友很多,都来自于全世界的不同工作室,然后并没有人回应,所以他就想不如自己尝试的开发一下。

Kognat公司的深度学习基于Google TensorFlow的公开模型,这些模型比典型的“toy”数据集的分辨率更高。Hodge解释说:“计算机视觉研究市场基本上都是为toy数据建立的。所以通常只创建单一帧画面,很多静图的分辨率仅有640×480”。所以Kognat公司要使用更高品质的数据集。

该产品的后端是谷歌Brain团队制作的TensorFlow系统。Hodge同时也是Rising Sun Pictures阿德莱德公司的流水线软件开发总监。这样的背景使得Hodge非常清楚生产流程对速度的要求。

nuke_output2.jpg

该系统还有预设,可以训练新的和自定义项目进行自动转描操作。目前,Kognat公司正在接受关于可公开获取和定义当前类别的大型数据集的培训。

虽然TensorFlow可在GCP和GPU上运行,但是该应用目前仅支持在CPU上运行。


举报 使用道具

回复
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们
关于我们
友情链接
联系我们
帮助中心
网友中心
购买须知
支付方式
服务支持
资源下载
售后服务
定制流程
关注我们
官方微博
官方空间
官方微信
快速回复 返回顶部 返回列表