Infinigen矩阵：自然世界的逼真3D场景程序生成器
发布时间 2023-06-19 17:13:57作者: BOTAI
你，有没有那么一瞬间，认为我们生活的世界，就是模拟的矩阵世界。
静心感受，这个人类生存已久的地球，大自然的一切，都是虚幻世界。
北极冰川太阳升起。海底世界中的千奇百怪的鱼群、五彩斑斓的珊瑚礁。
高山飞雪，老鹰在浩瀚无垠的天空中翱翔。炽热沙漠，凶险的蛇自由穿梭。
清澈见底的大海和小溪，海龟在沙滩慵懒地晒着太阳，许多蜻蜓在空中嬉戏。
哗哗坠落的雨滴、随风飘落的枫叶，时间瞬间戛然而止。
你所见皆是人工智能设计的。它们的模拟是如此逼真，甚至被所有人误认为是现实本身。
打开这扇矩阵大门的团队来自普林斯顿，研究一出瞬间在网上瞬间引起轩然大波。
论文中，研究人员引入了一个自然世界的逼真3D场景程序生成器「Infinigen」。
Infinigen完全是程序化的，从形状到纹理，都是通过随机的数学规则从头开始生成。
甚至，还能变换无穷，覆盖了大自然界的植物、动物、地形，还有火、云、雨和雪等自然现象。
论文地址：https://arxiv.org/pdf/2306.09310.pdf
Infinigen建立在免费和开源的图形工具Blender上，同样Infinigen也是开源的。
值得一提的是，3.5个小时就能生成一对1080p的图像！
普林斯顿大学提出的Infinigen可以轻松定制，生成各种特定任务的真实情况。
而它最主要的作用就在于，能够作为作为无限训练数据的生成器，用于广泛的计算机视觉任务。
其中，包括 目标检测、语义分割、姿态估计、3D重建、视图合成和视频生成。
此外，它还可以用于构建训练物理机器人，以及虚拟具身智能体的模拟环境。
当然了，3D打印、游戏开发、虚拟现实、电影制作和一般的内容创作都可用。
接下来，看看Infinigen系统是如何被设计出来的。
研究人员主要使用Blender开发程序化规则，Blender是一个开源的三维建模软件，提供各种基元和实用工具。
而用户通过转换对象、添加基元和编辑网格来修改这一表示。
Blender提供了大多数常见3D文件格式的导入/导出。
最后，Blender中的所有操作都可以通过其Python API自动完成，或者通过检查其开源代码。
作为Infinigen的一部分，研究人员开发了一套新的工具来加速研究人员的程序化建模。
一个值得注意的例子是研究人员的节点转换器，它可以自动将节点图转换为Python代码，如图所示。
由此产生的代码更加通用，并允许研究人员随机化图形结构，而不仅仅是输入参数。
这个工具使结点图更具表现力，并允许与其他直接用Python或C++开发的程序化规则轻松整合。
它还允许非程序员通过制作节点图为Infinigen贡献Python代码。
生成器子系统。Infinigen是由生成器组成的，生成器是概率程序，每个程序都专门用于生成一个子类的资产（如山或鱼）。
每个发生器都有一套高级参数（如山的整体高度），反映了用户可控制的外部自由度。
在默认情况下，研究人员根据为反映自然界而调整的分布对这些参数进行随机抽样，没有用户的输入。
然而，用户也可以使用研究人员的Python API覆盖任何参数，以实现对数据生成的细粒度控制。
下图是随机的、且仅包含地形的场景。研究人员为各种自然场景类型选择了13张图片。
分别为：山脉、上涨的河水、雪山、海岸日出、水下、北极冰山、沙漠、洞穴、峡谷和浮岛。
下图则是随机生成的模拟火焰的图片，包括烟雾、瀑布，以及火山喷发的场景。
研究人员自动生成了不同基因组（a）、身体部位（b）、身体部位拼接（c）、毛发（d）和体态（e）。
图片右侧则是研究人员展示的随机生成的食肉动物、食草动物、鸟类、甲虫和鱼类。
在下图中，研究人员按程序组成一个随机的场景布局（a）。
研究者生成所有必要的图片内容（b，用来显示每个网格面的颜色），并应用程序化材料和位移（c）。
研究人员展示了三个相机距离不同，但内容相同的特写网格可视化视图。
尽管网格分辨率不同，但在最终的图像中看不到任何变化。
为了对Infinigen进行评估，研究人员制作了30K的图像对，这些图像有用于矫正立体匹配的地面实景。
研究人员在这些图像上开始训练RAFTStereo，并在Middlebury验证集和测试集上对结果进行了比较。
英伟达科学家Jim Fan表示，当我们在现实中没有好的训练数据时，模拟是便下一个「金矿」。
这里，Infinigen便是一个开源的、程序化生成的、用于3D视觉的逼真数据集。其质量是惊人的！没有两个世界是相同的。
▸ 每一个小细节都是随机和可定制的，甚至是花瓣上的褶皱！
▸ 自然界的各种物体和场景：植物、动物、地形；火、云、雨和雪。
▸ 基准真实值自动注释：光流、三维场景流、深度、表面法向量、全景分割、封闭边界。
有网友表示，这真是让我大开眼界。在Blender中程序化生成3D世界。不使用AI，就可以创建任何你能想象的世界。
结合像这样的工具来创造世界，像Daz3D这样的工具来创造角色，Blockade Labs来创造天空盒，Convai来创造NPC。
还有人表示Infinigen将在人工智能计算机视觉研究中发挥作用。
比如，我们想在一个有雾的森林里面做一个有瀑布的村庄。
我们告诉一个人工智能写一个关于森林的详细描述，再发送到3D世界生成器。
世界生成后，就可以在村庄里添加人物角色。这些人将由人工智能控制，他们将有互动、对话和记忆。
另外，有网友称程序生成已经存在了20年（我已经做了15年）。「No Man's SKy」是5年前技术的一个很好的例子。
Infinigen的亮点在于它生成标记数据。这些数据可用于训练AI。这就很疯狂。
还有网友畅想，在不远的将来，游戏会变得疯狂……「独立」游戏开发者将能够推出一些疯狂的高端内容。
Infinigen生成太过逼真，以至于有人认为这是虚幻引擎生成的。
