要说去年最让人眼前一亮的爆款游戏是什么，我的答案会是《Monster Hunter Now》。这款由Niantic与卡普空合作开发的AR游戏，首周就取得了500万次的下载量，并在首月实现了超2300万美元的收入。

众所周知，游戏开发商Niantic是一家专注在AR游戏领域的技术型公司。而它的第一款成功产品，正是大名鼎鼎的《宝可梦GO》。如今，《Monster Hunter Now》的二度爆火，也让Niantic再度成为行业关注的中心。

但很多人不知道的是，在《Monster Hunter Now》之前，Niantic其实还推出过《哈利波特：巫师联盟》、《Peridot》、《NBA All-World》三款AR产品。

不过，《哈利波特：巫师联盟》和《NBA All-World》的表现都平平无奇。或许也因为如此，《Peridot》在去年11月宣布，将开始使用生成式人工智能，来让游戏中的虚拟宠物，表现得更像是现实中的动物。

而在上周的GDC2024上，来自Niantic的Justin Sneddon，也就“打造Peridot，世界上首个纯AR游戏”这一话题进行了分享。

他表示，《Peridot》已经使用了Niantic的所有AI技术。同时，游戏结合沉浸式的AR设计，能够吸引人们走向户外，并激发他们的探索欲望。而有了这一成功案例之后，我们或许预测国内的AI厂商，或许也会有类似的产品在未来推出。

谁能拒绝一只逼真的虚拟宠物

在《Peridot》这款游戏中，玩家可以领养其中一个虚拟生物。玩家们可以教它们了解世界，可以看它们在车里打架，尝试让它们变戏法。当然，玩家也可以培育这些宠物，让它们的数量不断增加并成为一个家族。由于这些宠物有着不同的特点，所以这是一个非常有趣的游戏。

为了让这些宠物发挥作用，Niantic需要在研发中进行大量工作，才能构建出这个游戏。对此，《Peridot》应用了实时导航和绘制世界地图的技术，这样生物就可以在真实世界中行走。同时，《Peridot》能够将虚拟宠物放置在世界各地的地方，玩家去到哪里，哪里就会有它们。

此外，《Peridot》还有很好地遮挡物处理技术。目前的非激光雷达解决方案非常不稳定，而《Peridot》的大部分过程是在室外进行的，并且是混合了动态和静态对象的复合方案。所以玩家会发现，虚拟宠物不会试着穿墙而过，而是会绕着障碍物移动。知道它所处的环境，知道人们在哪里。

Justin强调，Niantic采用了真正的沉浸式AR设计。因为他们希望玩家可以一直玩这个游戏，并感觉这些虚拟宠物是真实的，就像真正的宠物狗一样。同时，这个游戏真的很容易让人走出家门，去真实的世界看电子宠物的表现，所以这是一个很好的激励，鼓励人们到室外去。

《Peridot》将创建的世界进行网格化划分，并与实时传感器数据混合在一起。然后通过编写启发式算法来确定应该使用数据的哪一部分。并且《Peridot》也在积极地为每个像素动态地挑选最佳质量的遮光器，以获得更好的边缘和更好的遮挡，这就是游戏增加抑制和稳定的方式。

接下来是网格划分，虚拟宠物应该是存在于线上，但也能够触碰到物体的东西。基于此，如果游戏没有网格，虚拟宠物就无法与世界互动，也无法约束地将事物放置在上面。Justin在现实世界中最喜欢做的事情之一，就是扔出一个虚拟的球，看它在屏幕里的虚拟物体间进行反弹。然后看着虚拟宠物追着球跑，并把球带回给他。

需要指出的是，Niantic的游戏可以在环境中动态地运行，它的独特之处在于网格深度是专门为户外和长距离情况设计的。Niantic可以在任何设备上动态地进行大约40米的网格划分，包括安卓和iOS。而在此前，类似的效果通常需要一个激光雷达探针，并且只能提供5到6米的半径。所以用户必须在某个区域内不断行走，以便随时扫描再进行游戏。

换句话说，Niantic通过Lightship软件包将AR Foundation中的网格扩展到非激光雷达设备上，并使用自定义深度和网格模型将网格距离增加到20多米。因此，开发者不必更改代码，无需更改网格管理器或遮挡管理器或任何其他内容，就可以访问Android设备，并进行更多优化以及一系列的新功能。

因此整体来说，《Peridot》的核心就是沉浸式AR设计，以及Lightship ARDK平台的技术注入。而Niantic的目标则有三点，即要吸引人们走向户外、要尽可能的让所有人都能加入进来，以及能够激发人们的探索欲望。

让所有公司都能接入AR

目前，Niantic向游戏团队展示AR效果时，他们会真心的表示很酷，但同时也会发出疑问，他们该怎么来使用它？所以Niantic将一些来自游戏的素材，例如文字、模型等融合进工具之中，让用户可以用它做出各种疯狂的事情。

但当开发者进行实际测试时，他们会感到迷茫，因为有太多的功能与内容。因此，Niantic选择迭代产品原型，并与用户进行测试和沟通，找出哪些功能能引起共鸣，哪些则不能。

在这样的机制下，《Peridot》也磨出了更多的有趣的功能，比如说觅食。这是能让用户和虚拟宠物产生互动的重要一点。当虚拟宠物表现得像猫或狗时，自然会让用户感觉更自然、更像是一个生物。在这个例子中可以看到，这个虚拟宠物就像知道那里有一个人，然后自然的跳到他们的膝盖上。

另一件有趣的事情是，即使这个虚拟宠物不聪明，但用户会因为它所做的事情、以及它所做出的反应，而让用户感到有趣。你的大脑会说“哦，那真的很可爱”。如果每个用户都有自己的需求和愿望，那么或内向或活泼的虚拟宠物，也能得到不同玩家的喜爱。

在目前Niantic刚刚开发的最新版本中，Lightship在语义分割方面又进行了升级。可以对屏幕中的场景和物体提供2D掩码。与此同时，对于场景物品的识别，Lightship提供了更多的细分类型，大约有20个大的类别类，以及206个细分品类。同时，开发者在添加对象检测时，也不需要知道物体所在的确切位置，只需要知道物体在那个空间中的大致区域。

然后，开发者还可以将它与前述提到的网格等技术结合起来，来标识物体的3D位置，这是非常非常艰难的。Justin表示Niantic是唯一一家在没有做任何要求的情况下，免费发布这项功能的公司。

至于开发人员的生产力方面，这也是Justin在整个演讲中最喜欢的部分。基本上，如果你考虑在手机上使用AI技术，你只需要构建它并测试它，这个链接通常需要5到10分钟。所以开发者可以用它做一些事情，为一个游戏创意建立模型，等待然后玩它。

事实上，Justin认为任何创意都可以在编辑器中运行。开发者不必构建一个设备，而是可以使用Lightship中的回放功能。开发者可以用手机扫描环境，回放功能会记录下来并在编辑器中循环运行。

所以在现实世界中，开发者可以在几个不同的地址运行这个功能。可以在海滩上测试它，也可以在房子里测试它，也可以去公园测试。同时，开发者也可以切换编辑器中运行的数据集，将设备推向最后一次测试，为开发节省出数千个小时。除此之外，Lightship还可以支持模拟器的所有功能，因此开发者可以构建一个3D环境，并在其上运行所有的算法。

这些资源将在下一版本中出现，离开发者正式使用它们还有几周的时间。Justin对其格外推崇的原因在于，只要有这样一个工具，所有团队就能够变得超级高效。

AR+AIGC，一种新的尝试

在《Peridot》的开发过程中，Justin表示Niantic一直在思考一个问题，即是要更多的使用屏幕空间，还是要更多的使用现实空间。

如果你以前使用过AR产品，想必都拥有过类似的体验。在相机移动到某一画面前，哪里不存在任何虚拟物体。那是因为移动相机之前，画面还没有标识出网格，就不会有虚拟物品被放置其中。而Niantic在《Peridot》中进行的改进，就体现在移动相机后的半秒钟内快速建立网格。

或者开发者也可以把它理解为一种类似隐藏装载和丢失跟踪的功能，在屏幕空间中放置3D对象，轻微的跟踪延迟就会产生虚假的AR效果。对此，Justin解释了为什么会这样。并且随着机器学习的运用，在游戏中变得越来越普遍，这样的案例对于所有从业者来说，都是一个很好的教训。

如果开发者想把一张鞋子上有狗的图片喂给模型，对机器学习有所了解的人会知道，需要为图片打上趋势数据和标记。就比如这个例子中，开发者需要标记所有的东西，类似这是鞋子那是狗，此外像叶子、天空等都需要被标记，从而有了一个数据集。

而将这张图片喂给模型后，它可能会说这是一张狗的照片。但显然，照片里的东西不止一只狗。所以这就是变成了一个循环，得到图像、标记图像、再次训练，这完全取决于物品的标签程度。所以很多时候，AI模型并不知道那是什么。它可能会认为是一个物体，也可能会认为是一个玩具，甚至是其他的东西。

从技术上讲，需要让开发者明白自己正在教计算机认出图片中是一只狗。关于这一点，幸运的是《Peridot》的设计师非常擅长处理局限性。这就是为什么《Peridot》的虚拟宠物专注于眼镜和觅食，这些东西让虚拟宠物看起来很开心。

所以，只要设计师知道限制是什么，那他就可以解释为什么问题产生的原因并解决它。所有的机器学习技术，如果开发者在游戏中使用了它们，就将不得不围绕它们进行调整工作。这会让你的进度加速前进，也能创造出一些有趣的东西。

当然，所有的这一切都需要大量的工作。因此，想要将所有这些功能嵌入到每个Android和iOS设备中，意味着必须进行大量的性能改进，并花费大量时间研究如何调整机器学习模型。并且由于网格生成周围环境时，会在后台进行大量运算，也要控制它不会让手机变成加热器。

同时，《Peridot》作为一款3D游戏，也是唯一一款使用了Niantic所有技术工具的AR游戏。Justin在游戏早期测试中发现，用户非常喜欢玩这样的游戏，以至于他们会连续玩上几个小时，直至把手机的电量耗光。这显然是一个很大的问题，但好在它是一个可以被解决的问题。

这些问题的产生，意味着很多工作都要投入到它们上并加以努力。因此，《Peridot》进行了大量的测试和平衡，以确定设置可以作用在每一帧上，包括但不限于定期分析模型的LTS、平衡游戏玩法和功能、调整每个特性所需的速率等等。

此外在某些情况下，设置还可以正常运行吗？例如回溯到某个版本，或者不使用网络。而像“算法中的那些地方需要使用物理数据？”、“可以同时有多个版本的设置吗？”这样的问题也同样需要考虑到。因此，这更类似于电脑游戏都会有最低配置，开发者也必须在AR中设备性能，因为并不是每个人都口袋里有一台2000美元的手机，并且大部分开发者都想要获得一个更加广阔的市场。

在笔者看来，AR游戏一向以新奇感与陪伴感著称，现有产品的游戏深度大多是不及App游戏的。而就目前AI技术落地游戏的阶段来看，这反而是一种优势，因为它不需要AI解决过于复杂的问题，例如生成可复用高精度的3D模型。

与此同时，《宝可梦GO》和《Monster Hunter Now》的接连成功，也论证了AR游戏具备相当的市场规模和用户接受度。融入了AIGC技术的《Peridot》，或能凭借体验升级进一步拓展这一类型的上行空间。或许在不远的未来，我们也能看到有国内AI或游戏厂商，推出类似的产品。