NVIDIA 在 GDC 2024 推出全新数字人技术和 RTX SDK

在今年的游戏开发者大会（GDC 2024）上，NVIDIA 宣布了一系列激动人心的新技术，旨在彻底改变游戏开发领域。通过与领先的 AI 应用程序开发者如 Inworld AI 的合作，NVIDIA 展示了其最新的数字人技术和更新的 RTX SDK。这些创新不仅简化了高质量游戏世界的创建，还加速了生成式 AI 驱动的游戏角色的部署。

NVIDIA 数字人技术：革新游戏角色

NVIDIA 的数字人技术提供了一个全套或单个微服务的解决方案，用户可以根据需要整合到他们的产品中。这些技术包括：

1. NVIDIA Avatar Cloud Engine (ACE)：通过 NVIDIA Audio2Face (A2F) 提供逼真的面部动画，以及由 NVIDIA Riva 提供的自动语音识别 (ASR) 和文本转语音 (TTS) 功能，极大地增强了数字人的真实感和互动性。

2. NVIDIA NeMo：一个用于开发自定义生成式 AI 的端到端框架。NeMo 提供了精确的数据管理、先进的自定义功能、检索增强生成和加速性能，使企业就绪型模型的开发更加高效。

3. NVIDIA RTX：包括 RTX 全局照明（RTXGI）和 DLSS 3.5 在内的渲染技术集合，为游戏和应用提供了实时路径追踪的能力。

这些技术在由 Inworld AI 与 NVIDIA 合作完成的《秘密协议》演示中得到了展示。玩家可以在游戏中扮演一位经验丰富的私人侦探，体验前所未有的 NPC 交互。该演示结合了 OpenAI 的 ChatGPT 3.5、ElevenLabs 的文本转语音 (TTS)、Riva ASR 和 A2F 微服务，大大提升了 Inworld 的语言、语音和动画制作流程。Inworld 的 AI 引擎采用多模态方法，将认知、感知和行为系统结合，并利用 Unreal Engine 插件进行快速集成，使得使用 MetaHumans 更加简单高效。

AI 驱动的照明改进和渲染集成

除了数字人技术，NVIDIA 还推出了 RTX 全局照明（RTXGI）2.0 SDK，通过 AI 实现光线追踪的间接照明。这一更新进一步丰富了现有的神经渲染技术选项，如 DLSS 超分辨率技术、DLSS 3 帧生成、DLSS 光线重建和 DLAA。

最新的算法——神经辐射缓存（NRC）提供了一种 AI 驱动的解决方案，能够实时训练场景的辐射缓存，并使用反应式照明处理全动态场景。这种技术无需预先为几何图形和材质烘焙静态照明，从而在高要求的场景中提供了更出色的性能和更准确的全局照明。

为提供更好的扩展性，NVIDIA 推出了空间哈希辐射缓存 (SHaRC)，它无需使用神经网络即可提供与 NRC 类似的优势，并与任何支持 DirectX 或 Vulkan 光线追踪的 GPU 兼容。这是一种基于空间哈希数据结构构建的辐射缓存，专为路径追踪的快速且可扩展的全局照明技术而设计。

NVIDIA 的这些创新为游戏开发者提供了强大的工具，使他们能够创建更加真实、生动的游戏角色和高质量的游戏世界。通过申请抢先体验计划，用户可以开启 NVIDIA ACE 的旅程，并获取正在开发的 AI 模型。有关更多信息，可以访问 NVIDIA 的 API Catalog，并通过浏览器或完全加速堆栈的 API 端点体验和评估这些微服务。

对于寻求端到端数字人解决方案的游戏开发者，NVIDIA 提供了包括 Convai、Inworld、Data Monsters、Quantiphi 和 UneeQ 在内的中间件合作伙伴的支持。有关更多信息和反馈，用户可以参阅 Digital Human 论坛。

总的来说，NVIDIA 在 GDC 2024 上的展示不仅展示了其在生成式 AI 和渲染技术领域的领先地位，也为未来的游戏开发设定了新的标准。随着这些技术的不断发展和应用，我们可以期待更加沉浸和互动的游戏体验。