英超

相芯科技P2A技术让3DAvatar突破略

2020-10-15 21:13:44来源:励志吧0次阅读

相芯科技P2A技术让​3D Avatar突破设备边界 告别深度摄像头依赖

Avatar的概念在动漫、游戏、影视等领域已存在了相当一段时间,其实不新鲜。但是,对普通用户来讲,生成个性化的Avatar存在着较高的技术壁垒。依托深度传感摄像头与脸部辨认功能,IPhoneX和华为、小米等品牌的旗舰款手机上都推出了Animoji 或 Memoji这样的功能。那么问题来了,有没有可能突破装备限制,让普通摄像头也能重建全动态3D虚拟形象呢?近期,记者接触到一家公司「相芯科技」(FaceUnity),其虚拟形象生成技术P2A(photo-to-avatar)可以将2D照片转成3D立体模型,利用普通手机摄像头也可重建3D虚拟形象,轻松让用户在不到1分钟的时间内生成一个外形逼真的3D形象。

P2A技术由相芯科技自主研发,通过深度学习算法,结合了计算机视觉、机器学习和电影业的高端殊效,将用户的单张自拍照自动构建出与照片中人脸高度匹配但又精致耐看的3D Avatar。

详细来说,用户上传单张2D人脸照片,P2A的深度学习算法系统会在云端对照片进行分析和重建,先依托肖像神经网络来提取人脸真实信息(如外观特点),再由风格化神经网络进行虚拟形象风格定制(如漫画风、电影风等),从而生成3D虚拟人像模型(Avatar),用户也可以后期进行捏脸、换衣等个性化定制。基于FaceUnity自研的Nama SDK,用户可以用表情驱动自己的Avatar,创建自己的Memoji。

由相芯科技提供,P2A系统流程图

值得一提的是,整套解决方案其实不需要依赖深度传感摄像头,普通的智能手机摄像头完全可以支持,这也拓宽了该技术的支持机型范围。那么这是如何做到的?相芯科技市场总监秦飞告知记者:FaceUnity的P2A深度学习算法系统是基于75个人脸定位点进行解析和重建的,因此对装备的兼容性要求其实不高,以苹果机型为例,iPhone6以上机型都可支持,安卓则近五年机型都可支持。

提及建模成像精度问题,秦飞表示: 对卡通化虚拟形象来说,当前的人脸定位点已能提取人脸的关键特点,更多的定位并不一定能带来效果上的优化,而会在功耗及机型要求上带来诸多限制。

由相芯科技提供,2D照片生成3D形象实例

应用上,相芯科技目前产品包括虚拟形象生成、虚拟形象驱动、智能美颜、动态AR贴纸及智能手势辨认等,主要运用场景包括短视频、直播、游戏、自拍、影视、教育、医疗等。另外,FaceUnity也与一线硬件手机厂商合作,为之提供类似Animoji和Memoji的功能支持。

由相芯科技提供,漫画风AR滤镜效果

商业模式上,FaceUnity以To B业务为主,根据客户诉求提供基于三维虚拟形象生成和驱动的定制化解决方案,合作客户包括百度、美图、数字王国、猎豹移动、LiveChat等400余家。据悉,除软件类的业务支持,FaceUnity也在和华为、传音这类硬件手机厂商合作,提供美颜滤镜、Animoji和Memoji类的产品功能解决方案。据悉,去年FaceUnity的营原文链接:收在数千万级别。

团队方面,相芯科技核心成员曾任职于微软公司,团队成员大多毕业于清华大学和浙江大学。核心团队在计算机3D图形、VR/AR技术领域具有20余年的研发经验。

据悉,相芯科技成立于2016年,曾取得传媒梦工厂的天使轮融资,2018年取得东方富海、陌陌的1.2亿元A轮融资。

脐贴治疗小孩肠绞痛效果如何
卒中高血压吃什么药效果好
牛奶蛋白过敏能自愈吗
新生儿受凉拉肚子妙招
分享到:
  • 友情链接
  • 合作伙伴