最近人工智能的繁荣在一个有点令人惊讶的领域产生了令人印象深刻的结果：图像和视频生成的世界。最新的例子来自芯片设计师Nvidia，该公司今天公布了一项研究，展示了人工智能生成的视觉效果如何与传统视频游戏引擎相结合。其结果是一个混合图形系统，有一天可以用于视频游戏、电影和虚拟现实。

Nvidia应用深度学习副总裁布莱恩·卡坦扎罗（Bryan Catanzaro）告诉《边缘》杂志：“这是一种利用深度学习呈现视频内容的新方法。”显然，Nvidia非常关心图形的生成，我们正在考虑人工智能将如何彻底改变这个领域。”

Nvidia的工作结果并不是真实的照片，显示了在许多人工智能生成的图像中发现的商标视觉污点。它们也不完全是新奇的。在一篇研究论文中，该公司的工程师解释了他们是如何建立在许多现有方法的基础上的，包括一个有影响力的开源系统pix2pix。他们的工作部署了一种神经网络，称为生成对抗网络，或称GAN。这些被广泛用于人工智能图像生成，包括克里斯蒂拍卖行最近**的人工智能肖像的创作。

但Nvidia引入了许多创新，该公司表示，这项工作的一个产品是有史以来第一个使用人工智能生成图形的视频游戏演示。这是一个简单的驾驶模拟器，玩家可以在人工智能生成的几个城市街区内驾驶，但不能离开汽车或与世界互动。该演示仅使用一个GPU供电，这是此类尖端工作的显著成就(尽管承认GPU是该公司3000美元Titan V系列中的佼佼者，“有史以来最强大的PC GPU”，通常用于高级模拟处理而不是游戏。）

Nvidia的系统通过几个步骤生成图形。首先，研究人员必须收集训练数据，在本例中，这些数据取自用于自主驾驶研究的开源数据集。这段视频然后被分割，这意味着每一帧被分成不同的类别：天空、汽车、树木、道路、建筑物等等。一个生成性的对抗网络然后在这些分段数据上进行训练，以生成这些对象的新版本。

接下来，工程师使用传统游戏引擎创建虚拟环境的基本拓扑。在本例中，系统是虚幻引擎4，一个流行的引擎，用于诸如Fortnite、PUBG、Gears of War 4等标题。使用此环境作为框架，深度学习算法然后实时为每个不同类别的项目生成图形，并将其粘贴到游戏引擎的模型上。

卡坦扎罗解释说：“传统上，世界的结构是由人工智能生成的，唯一的东西就是图形。”他补充说，演示本身是基本的，由一名工程师组装而成这是概念的证明，而不是好玩的游戏。”

要创建这个系统，Nvidia的工程师们必须克服许多挑战，其中最大的挑战是对象持久性。问题是，如果深度学习算法以每秒25帧的速度为世界生成图形，它们如何保持对象的外观不变？卡坦扎罗说，这个问题意味着系统的初始结果“令人痛苦”，因为颜色和纹理“每一帧都在变化”

解决方案是给系统一个短期内存，这样它就可以将每个新帧与以前的帧进行比较。它试图预测这些图像中的运动，并创建与屏幕上的内容一致的新帧。所有这些计算都很昂贵，因此游戏的运行速度只有每秒25帧。

卡坦扎罗强调，这项技术还处于早期阶段，人工智能生成的图形可能需要几十年才能出现在消费者的标题中。他将这种情况与光线跟踪的发展进行了比较，光线跟踪是当前图形渲染中的热门技术，实时生成单个光线，在虚拟环境中创建真实的反射、阴影和不透明度。”第一个交互式光线追踪演示发生在很久很久以前，但我们直到几周前才在游戏中得到它，”他说。

不过，这项工作在其他研究领域也有潜在的应用，包括机器人和自动驾驶汽车，在这些领域，它可以用来生成训练环境。而且，它可能很快在消费品中出现，尽管容量有限。

例如，这项技术可以用于混合图形系统，其中大多数游戏使用传统方法渲染，而人工智能用于创建人物或物体的相似性。消费者可以自己使用智能**拍摄视频，然后将这些数据上传到云端，在云端，算法将学习复制这些数据并将其**游戏中。例如，这将使创建看起来像玩家的化身变得更容易。

不过，这种技术提出了一些显而易见的问题。近年来，专家们越来越担心人工智能**的假货被用于虚假信息和宣传。研究人员已经证明，政客和名人说或做他们不知道的事情的假镜头很容易产生，这是坏人手中的有力武器。通过推进这项技术的能力并公布其研究成果，Nvidia无疑对这一潜在问题做出了贡献。。

不过，该公司表示，这并不是什么新问题。”[这项技术]可以用来创造误导性的内容吗？对任何渲染技术都可以用来做到这一点，”卡坦扎罗说。他说，Nvidia正在与合作伙伴合作研究检测人工智能假货的方法，但最终错误信息的问题是一个“信任问题”。而且，与之前的许多信任问题一样，它必须通过一系列方法来解决，而不仅仅是技术。

卡坦扎罗说，像英伟达这样的科技公司只能承担这么多责任。”你认为电力公司有责任吗？因为他们创造了电力，为**假视频的计算机供电？”他问道。

最终，对于Nvidia来说，推动人工智能生成的图形有一个明显的好处：它将帮助公司销售更多的硬件。自20世纪10年代初深度学习热潮兴起以来，Nvidia的股价大幅上涨，因为它的计算机芯片显然非常适合机器学习的研究和开发。

那么，计算机图形领域的人工智能革命是否有利于公司的收入？卡坦扎罗笑着说：“这当然不会有什么害处。”任何能够提高我们生成更真实、更引人注目的图形的能力的东西，我认为都有利于Nvidia的底线。”