机器学习的下一个技巧是从照片生成视频

给人类看任何一张照片，他们就能相当准确地预测接下来会发生什么。骑自行车的女人会继续往前走。狗会抓住飞盘的。那人要大吃大喝了。等等。这是一项如此基本的技能，以至于我们没有考虑用于做出这些预测的大量信息——关于重力、惯性、蹦蹦跳跳的性质等等——而教计算机做同样的事情被证明是机器视觉的一个关键挑战。...

给人类看任何一张照片，他们就能相当准确地预测接下来会发生什么。骑自行车的女人会继续往前走。狗会抓住飞盘的。那人要大吃大喝了。等等。这是一项如此基本的技能，以至于我们没有考虑用于做出这些预测的大量信息——关于重力、惯性、蹦蹦跳跳的性质等等——而教计算机做同样的事情被证明是机器视觉的一个关键挑战。

这些视频很短，很小，而且常常是噩梦般的

麻省理工学院试图解决这个问题的研究人员已经得出了一些非常令人印象深刻的结果，他们使用经过专门训练的神经网络将图像转换成视频，并让计算机从本质上预测接下来会发生什么。他们的模型有很多局限性——视频是几秒钟长，很小，而且常常是噩梦般的——但这仍然是机器想象的一个令人印象深刻的壮举，也是朝着让计算机更像人类理解世界迈出的又一步。

神经网络是使用从Flickr下载的200多万个视频进行训练的。这些场景分为四种类型；高尔夫球场、海滩、火车站和医院（后一类由婴儿图像组成），镜头被稳定以消除相机抖动。利用这些数据，研究小组的神经网络不仅能够生成与这些场景相似的短视频（即页面顶部的GIF），而且还能观察静物并创建可能随后出现的片段（即下面的GIF）。这基本上是在预测下一步会发生什么，尽管只是猜测像素可能如何变化，而不是理解场景。

下面是它的样子：

很容易看出这里取得了什么成就，还有哪些不足。例如，在海滩视频中，你可以看到海浪拍打，在火车站，模型知道火车很可能会不断地经过摄像机。然而，当被要求预测一个人将如何穿过高尔夫球场时，最终的结果实际上并不像一个人。它们模糊不清，污迹斑斑，不切实际。研究人员自己也注意到，计算机的预测通常不会遵循“正确的视频”，但至少“运动是可信的”

超越这些看似合理但显然是假的视频将是一件艰难的事情，但其他机器学习系统在相关领域已经取得了进展，可以预测握手和拥抱等动作，甚至可以产生与视频匹配的声音。Facebook负责人艾亚恩·勒坤（AI Yann LeCun）去年在一次采访中谈到了这个话题，他说，能够产生像上述研究那样的未来运动，是创造预测型计算机的“一块拼图”，但真正理解视频或图像及其可能的未来需要付出更多的努力。

“如果你在看希区柯克的电影，而我问，‘15分钟后，电影里会是什么样子？’你必须弄清楚凶手是谁，”乐坤说彻底解决这个问题需要了解世界和人性的一切。这就是它有趣的地方。”