想把自己的身体形象投射进电子游戏里?现在已经是很容易的事了。人工智能算法此前已被广泛应用于虚拟现实头像、监视、服装试穿或电影等多种任务的人体建模上,但大多数方法需要特殊的照相设备来检测景深,或从多个角度探查人体。近日,来自德国布伦瑞克工业大学和 Max Planck Institute for Informatics 的研究人员提出了一种新的算法,可以使用单个角度的标准视频素材为人体创建 3D 模型,用时仅需数秒。目前,该研究的论文已被评为 CVPR 2018 大会 Spotlight 论文。

图 1:本论文提出的技术首创从人的单个视频序列中提取精确的 3D 人体模型,包括头发和衣服,这些人在摄像机前面移动,从而保证我们能从各个角度看到他们。

引言

在许多应用中,包括虚拟现实和增强现实、用于监视的人体跟踪、游戏或生物测定,都需要人的个性化现实和可动画化的 3D 模型。该模型应包括特定个人身体的静态几何形状、头发和衣物,以及连贯的表面纹理。

获取这种模型的一种方法是使用昂贵的主动式扫描仪。但是这种扫描仪的尺寸和成本妨碍了它们在消费级应用软件中的使用。或者,可以使用来自一组密集静态身体姿势图像的多视角被动重建 [22, 46]。然而,人们很难长期站立不动,因此这一过程耗时且容易出错。此外