直击SIGGRAPH 2019：相芯科技的虚拟形象“梦工厂”

2019年7月31日，第46届国际计算机图形与交互技术大会SIGGRAPH正在美国洛杉矶如火如荼进行中。这是全球规模最大、影响最广，同时也是最权威的一个集科学、艺术、商业于一体的CG展示、学术研讨会。

从148篇技术论文、12场主题会议到185家世界著名企业现场展示技术，该大会的每一项成果，都代表着计算机图形学与交互的最新突破。

戴上NVIDIA的最新的Prescription AR和Foveated AR头显，可以透过眼镜清晰地看到自己漂浮于现实世界的光学投影；躺在麻省理工学院媒体实验室的沙发上，戴上头显，就可以得到舒服的放松和体验；佩戴台北科技大学的面部VR装备，还能实时感受到冷热液体在面部的流动感……

（图片源自网络）

虽然现场众多AR、VR设备已足以抓人眼球，但记者的注意力还是被一个以3D虚拟形象为主题的展台所深深吸引。这个名为“FaceUnity”（杭州相芯科技有限公司）的展台被人群挤得满满当当，记者还未走近，就听到了一阵阵的“oh my god”惊呼声，让人不由得好奇满满，急切地想一睹真容。

到底是什么样的先进技术，具有如此神奇的魅力？带着这份好奇，记者走进了该展台，并现场采访了该公司负责人。

再造一个“你”

步入该展台，最先映入眼帘的就是一台塞满了虚拟形象的电视。而刚刚的惊呼声，就由此而来。每个人只要走近电视，等上3秒，屏幕就能立即生成与你相似且Q萌的3D虚拟形象，且无论你离开多久，只要再次出现，它就能立即认出“你”，并实时显示出另一个“你”。

FaceUnity工作人员告诉记者，这是其自主研发的PTA（Photo-to-Avatar）技术，可以根据用户上传的自拍照片，在云端对其进行分析和重建，从而生成相似且美观的3D虚拟形象。

该技术基于深度学习算法，融合了肖像神经网络和风格化神经网络两个组件。肖像网络负责定位和提取人脸的特征信息，包括脸型、五官、皮肤、发型、胡子、眼镜等，并通过和风格化网络的相互作用，重建具有本人特征的风格化虚拟形象；风格化网络将真人形象进行风格化定制。

相比市面上的其他产品用素材库分析来匹配生成3D虚拟形象，FaceUnity的技术是通过神经网络来提取人脸特征，并实时生成3D虚拟形象，真正做到了“千人千面”。

从记者的现场体验来看，无论人脸怎么运动，或嘟嘴，或张嘴，或大笑，或沮丧，屏幕中的“自己”都能实时呈现出一样的状态，且没有任何迟滞感。同时，在3D虚拟形象生成与互动的基础上，FaceUnity还提供不同维度的“捏脸”服务，换脸型、眼型、嘴型、鼻型不再话下，换发型、胡子、眼睛、帽子、衣服更是选择多多，兼具科技感与趣味性。

此外，该产品还自带AR滤镜，并支持单人合影、多人合影和动画场景，眼看着屏幕中的“自己”一会置身山水间热情舞蹈，一会又跑到集装箱前蹦蹦跳跳，记者差点笑到脸僵。

在SIGGRAPH现场亲眼见证一键生成3D虚拟形象的高科技，让人不由得地感叹：3D虚拟世界真的要来了！

和“虚拟形象”对话

当记者还沉浸在“虚拟形象”的互动体验中时，旁边的“Alice”早已与一位小哥聊得火热了。要不是看到屏幕上方有英文引导问题，记者还以为是小哥开着视频在与自己的“女朋友”联络感情呢！

“Alice”是一位长相甜美、专业十足的问答助手，记者现场与她进行了多轮对话，她都回答得很流畅，且面部与口型都极为吻合，毫无违和感，就像在与真人对话一样。

谈及“Alice”的实现原理，FaceUnity的工作人员立即就滔滔不绝了。这是基于FaceUnity自主研发的另一项新技术——STA（Speech-to-Animation）。这一技术结合了人工智能与计算机图形学，可以实时解算语音对应的发音口型，并精细驱动虚拟形象面部表情，实现动画的音画同步呈现。

有了这一技术，FaceUnity成功打造了一批卡通版和真人版的虚拟主播、虚拟助手、虚拟客服、虚拟偶像等一系列应用场景。在现场，工作人员拿起一台手机，向记者一一介绍起了不同形象的应用场景。

比如虚拟主播可以应用在传媒行业，帮助该行业提高视频制作效率，告别传统视频制作方式，迎来“只需输入文本或语音就能实时生成播报视频”的新时代。

比如，虚拟客服可以应用至医疗行业，帮助该行业告别冷冰冰“你打字我回答”的服务方式，迎来“虚拟医生7x24小时全天候线上线下专业咨询”的全新服务方式；

比如，虚拟助手可以应用至交通行业，帮助该该行业告别“只问其声不见其人”的车载系统，迎来“既见其人更知其好”的全新驾乘体验。

……

与“Alice”对话越久，记者越深刻地觉得，如果各行各业都能拥有一批独具个性且专业十足的“员工”，那么人力成本高涨、缺乏人性化服务体验、难以满足不同用户个性化需求等行业“共病”，终有一天将会消失在历史的长河中。

用3D内容“造梦”

除了让3D虚拟形象走入各行各业外，FaceUnity还能用3D技术创造出什么不一样的体验呢？

看到展台左边的宣传视频，记者心中有了底。上一秒美颜，下一秒玩转贴纸，再一回头，又换上萌萌哒的小黄鸭“脑袋”……这些可不就是当下潮爆的人脸特效玩法吗？

FaceUnity工作人员说，这些都是基于人脸检测与跟踪技术的AR特效。表情识别、背景分割、手势识别、海报换脸、音乐滤镜等，足足有16款之多，分分钟打破了记者对人脸特效玩法的认知局限。

作为一名天然爱美又忙得难以收拾自己的女性，记者在体验了各款人脸特效后，最爱的还是美妆。因为，它的效果真的太自然了。只要打开手机，切换美妆页面，记者就瞬间完成了上妆，柳叶眉、丹凤眼、双色眼影、猫眼眼线……要多“性感”就有多性感。

如果不喜欢“性感”妆，还有硬汉、甜美、邻家、欧美、妩媚等各款妆容可随意切换，足足有30款之多，这简直就是21世纪人类的美妆“神器”！一个月，每天妆容都不重样，想想都美好，有没有！

记者了解到，目前FaceUnity还在开发新的人脸AR特效，且已着手在开发更多酷炫的各类特效玩法。相信未来，以3D内容为载体，FaceUnity一定可以创造出更多有趣的玩法、新奇的体验，及更美好的3D虚拟世界。

FaceUnity —— 让创作更简单，让交互更自然

FaceUnity专注于智能图形技术的创新与应用，为移动互联网、VR/AR等领域提供3D内容生成与互动的行业解决方案，致力于好莱坞特效技术在消费级应用中的普及。

FaceUnity目前拥有增强现实视频SDK（AR Video SDK，包括表情识别/人脸AR滤镜和道具/视频美颜/视频分割/手势识别等）、虚拟化身创建服务PTA（Photo-to-Avatar，从一张照片生成虚拟形象/自主装扮虚拟形象/与虚拟形象互动等）、语音动画合成引擎STA（虚拟主播/虚拟客服/虚拟助手等）等多款产品，覆盖了短视频、直播、社交、新零售、智能家居、广告、医疗、媒体等多个领域，已服务400余家客户。

FaceUnity研发团队由业内重量级科学家领衔，在3D图形、计算机视觉、VR/AR领域拥有20余年研发经验。2018年，FaceUnity与浙江大学合作成立“浙江大学—相芯科技智能图形计算联合实验室”，深耕智能图形技术创新，培养高端人才，形成对产业发展的引导力。