这个房间大小的LED鸡蛋可以捕捉其中的人物的3D模型

 
在高清3D中捕捉人类表演是一项复杂的工作，其中许多挑战之一就是要正确设置照明。这项由Google研究人员完成的令人印象深刻的新项目将主题置于只能被描述为棱柱形LED蛋的中心，但由此产生的3D模型却非常出色-更重要的是可重新照明。
所谓的体积捕获使用360度设置中的多个摄像头来捕获看起来像对象的逼真的图像，包括衣服变形，头发移动等所有小细节。它有两个严重的缺点：首先，因为您不能摆姿势或改变他们的属性或衣服，所以它更像是3D电影而不是模型。第二个是第一个的扩展，因为您无法更改该人的照明方式-捕获他们时所拥有的任何灯光，这就是您所得到的。
Google的一个团队试图解决“第二个问题”，因为第一个问题已经深入人心。他们的系统不仅为运动中的人生成了非常详细的3D模型，还使该模型成为了现实。通过虚拟光源逼真地照明，可以将其放置在游戏，电影和其他照明可能改变的情况下。
Google AI论文中的图像单独显示了捕获过程以及在明亮的虚拟环境中生成的3D模型。
这全都归功于上述棱形鸡蛋(当然还有几行代码)。鸡蛋内衬有331个LED灯，它们可以产生任何颜色，并且在捕获人员时，这些LED会以特殊的结构化模式移动，从而产生与照明无关的模型。
生成的模型可以放置在任何虚拟环境中，而不是反射捕获的灯光，而是那个小世界的灯光。以下视频中的示例并不完全是好莱坞级别的质量，但您可以了解它们的用途的大致概念。
体积捕获的局限性使其不适合用于电影中的许多用途，但可重新照明使这些性能比以前更接近于普通3D模型。当然，您仍然必须在一个巨大的蛋中进行所有表演。
“ Relightables”将由SIGGRAPH Asia团队展示。