## ##

简单却困难:Animoji背后十年的技术难题

2017-10-26 09:54:22 阅读 140804 本文来源:威锋网
分享至:

表情随心变

20171026095216889.png

虽说 iPhone X 确实是一款极具诱惑力的新手机,它靓丽的外形和先进的技术很让人惊艳,但毕竟很多东西我们都已经通过爆料提前知道了。如果要说称得上惊喜的,那么 Animoji 动画表情功能应该算是其中之一了吧。

所谓的 Animoji 其实很简单,就是让手机屏幕中虚拟形象的脸随你的变化而变化。你摆出什么夸张的表情,它也会跟着“模仿”。苹果首批提供了 12 种卡通形象,无论是猫、狗、机器人、外星人还是便便,你都可以对着手机做做鬼脸,看看它们会有什么相应的变化。

别看功能好像很简单,Animoji 还必须要 iPhone X 才能够实现。因为我们知道,iPhone X 的前置摄像头是所谓的“原深感摄像头”,它能够通过将数万个光点投射到用户脸上,实时捕捉他的 3D 面谱。通过这些面部信息,设备得以让虚拟形象即时表现出和用户相似的表情来。

苹果会在发布会主题演讲中重点提及 Animoji,肯定是因为对它有颇多期望。有趣的是苹果说来很轻松,其实要真正实现它,是需要很长时间的技术沉淀的。那么有关 Animoji,这背后又有些什么值得我们去了解的技术细节?

一切的开始


早在几年前,苹果就已经开始在收购很多相关的公司了,比如 Perceptio、Metaio、Faceshift,还有市场里最好的 3D 传感器制造商之一 —— PrimeSense。虽说现在我们都已经知道苹果这些收购的目的了,但在当时它究竟想做什么,人们还是猜不透的。正是这些收购,让 Animoji 最终得以实现。但是如果要了解它的技术起源,那就是十多年前的事情了。

在过去面部捕捉还是一项很费劲的工作,虽说好的科幻电影、CG 电影都已经实现了细腻逼真的虚拟表情,但那需要演员在脸上粘上好多个追踪器。随着演员面部表情的变化,追踪器的位置也会相应发生变动,让光学系统能够追踪到,并根据这些数据构建表情变化的信息近似值,最后生成建模,然后手工调整修正。这种方法清晰、明了、有效。

但是它的缺点也非常明显,那就是费时费力费钱,需要摄影棚环境,演员还得愿意使用这些追踪器,穿上专门的动态捕捉服。这一切的不便,促使人们想要寻找更轻松简单的面部捕捉的办法。事实上从那个时候开始,研究者们就已经想到深度感应摄像头了。直到现在,这种技术都是最可行的解决方案,就像 iPhone X 那样。

然而问题就在于它说起来简单,其实很困难。我们虽然可以用各种简单的词语来描述人的表情,但每一个表情事实上都牵涉到脸部许多部位的活动,而且这些位移还是时刻在变化的。对计算机来说,要判断这些位移数据究竟意味着什么,这可非常复杂。

为什么这会那么复杂?因为尽管人的脸对我们来说,无论怎么看都是一张脸,但对机器来说,它的算法涵盖面要足够广,以至于无论角度变化,光线变化,年龄变化,民族变化,这等等所有的变数,系统都要能够认出来这是人的脸,而且还要认得出他当时的表情。即使当技术进步,深度感应摄像头已经足够复杂,能够采集所有和脸部相关的重要信息之后,让计算机读懂这些信息还是十分困难,因为对计算机来说,这些数据本质上什么意义都没有。

转变思维

为了解决这个棘手的难题,研究者们改换了思路。他们不再试图让计算机去强行读懂那些纷乱的数据,而是为它设置了许多模板作为范本。

据了解在新的思路的指导下,科学家逐渐将面部识别视为了一种几何问题。他们通过一系列面部数据和表情数据,训练算法,让它们建立多个可以去描述的静态 3D 模型。这些信息,同样也包含了民族差异和环境差异。有了这些计算模型,算法就可以更轻松地将扫描到的 3D 点阵面谱和实际的面部表情联系起来,最终实现几乎实时地将它反映在虚拟形象脸上。

看似简单的技术,其实从提出概念到最终解决问题,其实已经花去了十来年的时间。长时间以来,面部识别生成虚拟表情的技术的主要用户是视觉特效公司,用来简化他们的制作流程。然而随着技术的进一步发展,我们已经看到了诸如 Facerig 这样,它得到的更为广泛的应用。随着苹果推出 Animoji,我们可以想见这种技术的认知度将会更高。

从发布会上的演示中,我们就能够看到面部表情捕捉的有趣之处。不仅仅是 Animoji,还有 AR 技术的应用也为 iPhone 带来了新的玩法。苹果高管在主题演讲中演示了能够贴合人脸部的虚拟面具,没有 iPhone X 的原深感摄像头和过去的技术积累,那是做不到的。

未来的前景

Animoji 将来能够被我们用来做什么呢?喜欢玩儿的朋友们肯定已经有了自己的计划。它可以用虚拟形象还原我们的表情,并且还能录下我们的声音,通过 iMessage 发送出去。朋友们听着我们的声音,看到的确实是搞笑的卡通人物,那感觉肯定非常有趣。

如今的苹果非常重视社交平台和体验的打造,了解人们对自拍和即时通信的需求,而 Animoji 在传统的社交沟通体验之上,增加了新的趣味。更重要的是,这些技术潜力无限。

据了解,面部表情模仿仅仅是个开始,现在业界希望能扩展这个技术,实现基于一张照片打造出真实度极高的虚拟形象,甚至达到能让人误以为是真人在说话和做出表情的程度。

如果苹果也在朝着这个方向发展,这并不是什么让人奇怪的事情。取代指纹识别后,面部识别系统毫无疑问将会是未来很长一段时间的主流配置。随着手机性能的不断增强,采用面部识别能够做的事,能够创造出的虚拟实体也就越来越复杂多样。Animoji只是开了一个头,谁知道以后在此之上它会发展出什么更加黑科技的东西呢?

责任编辑:mr
分享至:

联系客服

故障反馈