GameNGen：一个完全由神经模型驱动的游戏引擎(图1)

GameNGen，一个完全由神经模型驱动的游戏引擎，可以根据玩家操作实时生成游戏画面，GameNGen由Google DeepMind 开发。

GameNGen 可以在你玩游戏时，实时生成游戏画面。这意味着你看到的每一帧图像都是引擎即时生成的，而不是事先存储的。

GameNGen 的主要特性和功能：

  • 基于神经模型的引擎：GameNGen 完全由神经模型驱动，使其成为第一个无需传统编码即可运行的游戏引擎之一。它使用扩散模型（一种生成人工智能）来模拟游戏玩法。

  • 实时帧生成：该引擎可以使用单个张量处理单元 (TPU) 以每秒超过 20 帧的速度生成《DOOM》游戏的新帧。这允许与游戏环境进行实时交互，保持与原始游戏相当的视觉质量。

  • 强化学习集成：GameNGen 首先训练强化学习 (RL) 代理来玩《DOOM》，记录其行为和观察结果。然后，该数据用于训练扩散模型，以根据过去的帧和动作预测后续帧。

  • 稳定扩散利用：该引擎采用稳定扩散（一种生成式 AI 模型）来保持长序列中帧之间的凝聚力。这种方法有助于缓解采样分歧等问题，并确保稳定的自回归生成。

  • 交互式世界模拟：GameNGen 可以模拟复杂的游戏状态更新，例如管理生命值、弹药以及与环境的交互。它通过调节仅在生成期间可用的输入动作流来解决模拟交互式世界的挑战。

  • 更广泛应用的潜力：虽然目前已在 DOOM 上进行了演示，但 GameNGen 的创建者设想将该技术应用于其他游戏和交互式软件系统。这可能会彻底改变视频游戏的生成和玩方式，使开发更容易且更具成本效益。

GameNGen关键功能和用例

  • 实时游戏模拟：GameNGen 可以在单个 TPU 上以每秒超过 20 帧的速度实时模拟复杂的游戏环境，例如经典游戏《DOOM》。这允许无需预先存储图像或动画即可进行交互式游戏，使其成为创建响应式动态游戏模拟的理想选择。

  • 高质量图像生成：GameNGen 利用生成扩散模型实现了 PSNR 为 29.4 的高质量图像生成，与有损 JPEG 压缩标准相当。这确保了视觉上身临其境且逼真的游戏图形。

  • 自动回归生成：引擎通过自动回归持续预测并生成游戏帧，从而在长序列上保持图像质量。这对于视觉稳定性至关重要的长期模拟至关重要。

  • 训练 AI 代理：GameNGen 采用两阶段训练过程，涉及强化学习 (RL) 代理和扩散模型。这允许生成类人游戏数据，用于训练生成模型，从而增强模拟的真实感 。

  • 成本降低和可访问性：通过自动生成游戏图形和环境，GameNGen 可以显着减少开发时间和成本，使小型工作室或个人创作者能够制作复杂的游戏。

游戏开发阶段的应用

  • 游戏设计：GameNGen 有助于创建和管理游戏资产和设计元素，使设计人员能够快速制作原型并迭代他们的想法，确保在编程之前有一个可靠的游戏概念。

  • 编程：它提供了一个强大的环境来编码游戏逻辑和集成组件，支持多种编程语言并提供简化开发的库。

  • 测试：GameNGen 包括手动和自动测试功能，确保所有游戏功能按预期工作并评估各种设备和平台的性能 。

  • 部署：该引擎有助于跨不同平台打包和分发游戏，与 CI 工具集成以自动化构建和部署过程。

更广泛的应用

除了游戏之外，GameNGen 的技术还可以应用于虚拟现实、自动驾驶汽车和智能城市，以进行对于培训和运营管理至关重要的实时模拟

你可以像玩普通游戏一样，通过键盘或手柄与游戏互动，而GameNGen会根据你的操作来生成下一帧的游戏画面。

生成的游戏画面非常接近真实游戏的效果，所以你几乎感觉不到这是AI生成的图像，而像是在玩真正的游戏。

GameNGen 能够以超过20帧每秒的速度，实时模拟经典游戏《DOOM》。

GameNGen生成的游戏画面与真实游戏非常接近，人类难以区分。

GameNGen 代码库：

https://gamengen.github.io/