DeanBeat: генеральный директор Nvidia Дженсен Хуанг говорит, что ИИ будет автоматически заполнять 3D-изображения метавселенной


Хотите узнать, что ждет игровую индустрию в будущем? Присоединяйтесь к руководителям игровой индустрии, чтобы обсудить новые отрасли индустрии в октябре этого года на GamesBeat Summit Next. Зарегистрируйтесь сегодня.


Чтобы создать виртуальный мир, нужны виды ИИ. Нвидиа Исполнительный директор Дженсен Хуанг сказал на этой неделе во время вопросов и ответов на онлайн-мероприятии GTC22, что ИИ будет автоматически заполнять 3D-изображения метавселенной.

Он считает, что ИИ сделает первый шаг в создании 3D-объектов, населяющих обширные виртуальные миры метавселенной, а затем создатели-люди возьмут на себя управление и усовершенствуют их по своему вкусу. И хотя это очень громкое заявление о том, насколько умным будет ИИ, Nvidia проводит исследования чтобы поддержать это.

Nvidia Research объявляет сегодня утром, что новая модель искусственного интеллекта может помочь внести свой вклад в огромные виртуальные миры, созданные растущим числом компаний, а создателям будет легче населять разнообразными трехмерными зданиями, транспортными средствами, персонажами и многим другим.

Этот вид мирских образов представляет собой огромный объем утомительной работы. Nvidia заявила, что реальный мир полон разнообразия: улицы застроены уникальными зданиями, мимо проносятся различные транспортные средства и проходят разнообразные толпы. Ручное моделирование виртуального 3D-мира, отражающего это, занимает невероятно много времени, что затрудняет заполнение детализированной цифровой среды.

Такую задачу Nvidia хочет упростить с помощью своего Вселенная инструменты и облачный сервис. Он надеется облегчить жизнь разработчикам, когда дело доходит до создания приложений метавселенной. И автоматическое создание искусства — как мы видели в этом году с DALL-E и другими моделями ИИ — это один из способов облегчить бремя создания вселенной виртуальных миров, как в Снежная авария или же Готов первый игрок.

Дженсен Хуанг, генеральный директор Nvidia, выступает на конференции GTC22.

Ранее на этой неделе я спросил Хуанга в интервью для прессы, что может ускорить появление метавселенной. Он сослался на исследовательскую работу Nvidia, хотя компания не проболталась до сегодняшнего дня.

«Прежде всего, как известно, метавселенная создается пользователями. И он либо создан нами вручную, либо создан нами с помощью ИИ», — сказал Хуанг. «И, и в будущем, очень вероятно, что мы будем описывать какую-то характеристику дома или характеристику города или что-то в этом роде. И он похож на этот город, или на Торонто, или на Нью-Йорк, и он создает для нас новый город. А может быть, нам это не нравится. Мы можем дать ему дополнительные подсказки. Или мы можем просто нажимать «ввод», пока он автоматически не сгенерирует тот, с которого мы хотели бы начать. А потом из того, из того мира мы его модифицируем. И поэтому я думаю, что ИИ для создания виртуальных миров реализуется, пока мы говорим».

Детали GET3D

Обученная только на 2D-изображениях, Nvidia GET3D генерирует 3D-формы с высококачественными текстурами и сложными геометрическими деталями. Эти 3D-объекты создаются в том же формате, что и популярные графические приложения, что позволяет пользователям сразу же импортировать свои формы в 3D-рендереры и игровые движки для дальнейшего редактирования.

Сгенерированные объекты можно использовать в 3D-представлениях зданий, открытых пространств или целых городов, предназначенных для различных отраслей, включая игры, робототехнику, архитектуру и социальные сети.

GET3D может генерировать практически неограниченное количество 3D-форм на основе данных, на которых он обучен. Подобно художнику, который превращает кусок глины в детализированную скульптуру, модель превращает числа в сложные трехмерные формы.

«В основе всего лежит именно та технология, о которой я говорил секунду назад, называемая большими языковыми моделями», — сказал он. «Чтобы иметь возможность учиться у всех творений человечества и иметь возможность представить трехмерный мир. И вот из слов, через большую языковую модель когда-нибудь выйдут треугольники, геометрия, текстуры, материалы. И затем, исходя из этого, мы бы изменили его. И, поскольку ничего из этого не запекается заранее и не обрабатывается заранее, вся эта симуляция физики и симуляция света должна выполняться в реальном времени. И именно поэтому новейшие технологии, которые мы создаем для нейрорендеринга RTX, так важны. Потому что мы не можем сделать это грубой силой. Для этого нам нужна помощь искусственного интеллекта».

Например, с помощью обучающего набора данных 2D-изображений автомобилей создается коллекция седанов, грузовиков, гоночных автомобилей и фургонов. При обучении на изображениях животных он выдает таких существ, как лисы, носороги, лошади и медведи. Учитывая стулья, модель создает различные вращающиеся стулья, обеденные стулья и уютные кресла с откидной спинкой.

«GET3D делает нас на шаг ближе к демократизации создания 3D-контента с помощью ИИ», — сказала Санья Фидлер, вице-президент по исследованиям ИИ в Nvidia и руководитель лаборатории ИИ в Торонто, которая создала этот инструмент. «Его способность мгновенно генерировать текстурированные 3D-формы может изменить правила игры для разработчиков, помогая им быстро населять виртуальные миры разнообразными и интересными объектами».

GET3D — одна из более чем 20 статей и семинаров, написанных Nvidia и принятых на конференцию NeurIPS AI, которая проходит в Новом Орлеане виртуально с 26 ноября по декабрь. 4.

Nvidia заявила, что, хотя предыдущие трехмерные генеративные модели искусственного интеллекта были быстрее, чем ручные методы, они были ограничены в уровне детализации, который они могли производить. Даже современные методы обратного рендеринга могут генерировать 3D-объекты только на основе 2D-изображений, снятых под разными углами, что требует от разработчиков создания одной 3D-формы за раз.

Вместо этого GET3D может производить около 20 фигур в секунду при выполнении логического вывода на одном графическом процессоре Nvidia (GPU), работая как генеративно-состязательная сеть для 2D-изображений при создании 3D-объектов. Чем больше и разнообразнее обучающий набор данных, из которого он извлек уроки, тем разнообразнее и
детализировал вывод.

Исследователи Nvidia обучили GET3D синтетическим данным, состоящим из 2D-изображений 3D-форм, снятых с разных ракурсов камеры. Команде потребовалось всего два дня, чтобы обучить модель примерно на миллионе изображений с использованием графических процессоров Nvidia A100 Tensor Core.

GET3D получил свое название из-за способности генерировать явные текстурированные 3D-сетки — это означает, что создаваемые им формы имеют форму треугольной сетки, похожей на модель из папье-маше, покрытую текстурированным материалом. Это позволяет пользователям легко импортировать объекты в игровые движки, средства 3D-моделирования и рендеринга фильмов — и редактировать их.

После того как создатели экспортируют формы, созданные с помощью GET3D, в графическое приложение, они могут применять реалистичные световые эффекты при перемещении или вращении объекта в сцене. Включив еще один инструмент ИИ от NVIDIA Research, StyleGAN-NADA, разработчики могут использовать текстовые подсказки для добавления определенного стиля к изображению, например, изменить отрендеренный автомобиль, чтобы он стал сгоревшим автомобилем или такси, или превратить обычный дом в дом с привидениями. один.

Исследователи отмечают, что в будущей версии GET3D могут использоваться методы оценки положения камеры, что позволит разработчикам обучать модель на реальных данных, а не на синтетических наборах данных. Его также можно было бы улучшить для поддержки универсальной генерации — это означает, что разработчики могут обучать GET3D одновременно всем видам 3D-форм, вместо того, чтобы обучать его на одной категории объектов за раз.

Prologue — следующий проект Брендана Грина.
Prologue — следующий проект Брендана Грина.

Таким образом, ИИ будет генерировать миры, сказал Хуанг. Эти миры будут симуляциями, а не просто анимацией. И чтобы управлять всем этим, Хуанг предвидит необходимость создания «центра обработки данных нового типа по всему миру». Это называется GDN, а не CDN. Это сеть доставки графики, проверенная в бою с помощью облачного игрового сервиса Nvidia GeForce Now. Nvidia воспользовалась этой услугой и создала Omniverse Cloud, набор инструментов, которые можно использовать для создания приложений Omniverse в любое время и в любом месте. В GDN будут размещаться облачные игры, а также инструменты метавселенной Omniverse Cloud.

Этот тип сети может обеспечить вычисления в реальном времени, необходимые для метавселенной.

«Это интерактивность, которая практически мгновенна», — сказал Хуанг.

Кто-нибудь из разработчиков игр просит об этом? Ну, на самом деле, я знаю одного, кто есть. Брендан Грин, создатель игры PlayerUnknown’s Productions в жанре королевской битвы, в этом году попросил о такой технологии, когда анонсировал Prologue, а затем представил Проект Артемида, попытка создать виртуальный мир размером с Землю. Он сказал, что его можно создать только с помощью сочетания игрового дизайна, пользовательского контента и искусственного интеллекта.

Ну, черт возьми.

Кредо GamesBeat при освещении игровой индустрии «там, где страсть встречается с бизнесом». Что это значит? Мы хотим рассказать вам, как новости важны для вас — не только как руководителя игровой студии, но и как фаната игр. Читаете ли вы наши статьи, слушаете ли вы наши подкасты или смотрите наши видео, GamesBeat поможет вам узнать об отрасли и получить удовольствие от участия в ней. Откройте для себя наши брифинги.

Leave a Comment