NVIDIA 的新研究:生成式 AI 将会超越人类智能?

资讯1年前 (2023)更新 花花
1,612 0 0

5月4日消息:NVIDIA 推出了一系列尖端的人工智能研究,包括生成式人工智能和神经图形学,这些研究将于今年在 SIGGRAPH 上展示。

这些研究包括生成人工智能模型,将文本转换为个性化图像,反向渲染工具,使用 AI 模拟复杂 3D 元素的神经物理模型以及神经渲染模型。

这些研究将帮助开发人员和企业快速生成合成数据,以填充机器人和自动驾驶汽车培训的虚拟世界,并且使艺术、建筑、平面设计、游戏开发和电影领域的创作者能够更快地为故事板、预览甚至制作高质量的视觉效果。

具有个性化触感的 AI:定制的文本到图像模型

将文本转换为图像的生成式 AI 模型是为电影、视频游戏和 3D 虚拟世界创建概念艺术或故事板的强大工具。特拉维夫大学和 NVIDIA 的研究人员在 SIGGRAPH 上发表了两篇论文,使用户能够提供模型快速学习的图像示例。这些论文描述了一种需要单个示例图像来自定义其输出的技术,并且介绍了一种名为 Perfusion 的高度紧凑的模型,该模型采用一些概念图像,允许用户将多个个性化元素组合成一个 AI 生成的视觉效果。这些技术可以帮助艺术家更快地为特定主题创作视觉效果。NVIDIA 的新研究:生成式 AI 将会超越人类智能?

 

3D服务:逆向渲染和角色创建的进步

NVIDIA Research正在开发人工智能技术,帮助创作者将2D图像和视频转换为3D表示。他们发明了一项技术,可以自动将2D图像和视频转换为逼真的3D模型,使创作者可以将其导入图形应用程序进行进一步编辑。此外,他们还与加州大学圣地亚哥分校和斯坦福大学合作,开发了两个项目。第三篇论文介绍了一种基于单个3D肖像生成和渲染逼真的2D头肩模型的技术。第四个项目是一个人工智能系统,可以从真实网球比赛的2D视频记录中学习一系列网球技能,并将这种动作应用于3D角色。这些技术可以帮助创作者更快地创建3D角色和场景,并使其动作更逼真,而无需使用昂贵的动作捕捉数据。

 

没有一根头发错位:神经物理学可实现逼真的模拟

在3D角色制作中,叠加逼真的细节是一个复杂且计算成本高昂的挑战,例如头发。头发对个体的运动和周围环境做出动态反应,每个人头上平均有100万根头发。传统上,创作者使用物理公式来计算头发运动,但在大预算电影中的虚拟角色比实时视频游戏化身更详细的头发头。第五篇论文介绍了一种使用神经物理学的方法,可以高分辨率实时模拟数万根头发。神经物理学是一种人工智能技术,可以教授神经网络预测物体在现实世界中的移动方式。

专门针对现代GPU进行了优化。与基于CPU的求解器相比,该方法提供了显著的性能提升,将模拟时间从几天缩短到仅几个小时,并提高了实时头发模拟的质量。这种技术实现了准确和交互式的基于物理的头发梳理。

神经渲染为实时图形带来电影级细节

在动画3D对象和角色被放置在环境中后,实时渲染将模拟虚拟场景中反射的光的物理特性。NVIDIA的最新研究表明,AI模型可以为视频游戏和数字孪生实时提供电影质量、逼真的视觉效果,包括纹理、材质和体积。在第六篇SIGGRAPH论文中,NVIDIA介绍了神经纹理压缩技术,可以在不占用额外GPU内存的情况下提供高达16倍的纹理细节。这项技术可以显著提高3D场景的真实感。

NVIDIA 的新研究:生成式 AI 将会超越人类智能?

神经纹理压缩(右)提供的纹理细节比以前的纹理格式多 16 倍,而无需使用额外的 GPU 内存。

NVIDIA 的新研究:生成式 AI 将会超越人类智能?

神经材料模型学习光如何从多层、逼真的参考材料反射。

NVIDIA提供了一种名为NeuralVDB的数据压缩技术,可以将表示体积数据(如烟、火、云和水)所需的内存减少100倍,并支持人工智能。此外,NVIDIA还发布了有关神经材料研究的更多详细信息,该论文描述了一个人工智能系统,可以学习光线如何从逼真的多层材料反射,将这些资产的复杂性降低到实时运行的小型神经网络,使着色速度提高10倍。这个神经渲染的茶壶展示了真实感水平,准确地代表了陶瓷、不完美的清漆釉、指纹、污迹甚至灰尘。

© 版权声明

相关文章

分享