Нейросети — новый инструмент разработчиков виртуальных платформ

Нейросети стали новым технологическим трендом, который уже используется в качестве инструмента отдельными специалистами. А в ближайшем будущем можно будет заметить, как нейросети повлияли на сферу разработки игр, приложений и виртуальных платформ. 

Мы поговорили с геймдизайнером Максимом Останиным о перспективах применения нейросетей в геймдеве. Он предложил нам различные варианты использования нейросетей, о которых мы расскажем в материале. 

Также мы подготовили серию статей для дизайнеров, разработчиков и креаторов. В них мы разобрали варианты использования нейросетей в создании цифрового контента и собрали подборки с инструментами: 

1. Нейросети — новый инструмент разработчиков виртуальных платформ;
2. Как с помощью нейросетей генерировать контент для игр и метавселенных;
3. Быстрое создание персонажей с помощью нейросетей;
4. Подборка нейросетей для геймдева. Генерация 3D-моделей на основе иллюстраций;
5. Нейросети для создания анимации персонажей;
6. Как нейросети помогают писать код: инструменты для программистов и разработчиков.

Видео-версия для тех, кто предпочитает смотреть

Перспективы использования нейросетей

В 2023 году появилось более тысячи различных нейросетей и сотни вариантов их применения. В сети даже стало популярным мнение, что они скоро заменят специалистов. Но сама нейросеть без человека продукт создать не может. Ей нужно давать команды, оценивать ее результаты и направлять. Для профессионального использования нейросети при создании платформы мало уметь ей управлять, необходимо самому быть специалистом. 

Поэтому нейросети не заменят разработчиков, а станут качественным инструментом в их руках. Например, они упростят, автоматизируют и ускорят отдельные рабочие процессы. Точно так же сейчас дизайнеры предпочитают использовать в качестве инструментов программы Adobe с простым и удобным набором инструментов.

Если научиться пользоваться нейросетью, то можно получать результаты, которые уже можно брать в работу с минимальной редактурой или даже без нее. Поэтому в портфолио разработчика может добавиться еще один навык — умение работать с нейросетью. 

Способы применения нейросетей

Сейчас популярны нейросети для создания текста и изображений. Но это не единственные возможные способы их применения. Максим выделил 7 вариантов использования нейросетей, которые можно использовать в разработке проектов уже сейчас или в ближайшее время.

1) Нейросети для написания кода. Они уже умеют анализировать программный код и предлагать свои варианты его изменения на основе запроса от разработчика. Также они могут дописывать строки кода на основе имеющихся данных.

Пока что результаты работы нейросети с кодом вызывают множество споров среди пользователей. Нейросети еще не научились писать оптимальные варианты кода и часто предлагают устаревшие варианты вместо удобных. По словам Максима, код от нейросети получается хуже, чем код от Junior-разработчика.

Но есть нейросети, которые можно интегрировать в работу отдельных игровых движков. Это удобнее, поскольку программе легче анализировать код. Также у разработчика появляется возможность сразу оценить архитектуру кода, без необходимости ручного переноса со сторонних сайтов и дальнейшей загрузки в движок. Например, OpenAI GPT-3 работает с движком Unity.

2) Нейросети для разработки дизайна. Обычные пользователи уже используют нейросети для переноса их любимых персонажей в различные миры при помощи Midjourney. С помощью запросов они меняют сеттинг, жанры, эпохи и стили. 

А в руках дизайнера этот инструмент сможет создавать продуманные образы для игр и приложений. Например, нейросеть может легко генерировать персонажей, окружение и интерфейс платформы. 

А если вы тоже хотите перенести свой проект в виртуальную реальность, обращайтесь к нам в metaverse-агентство Maff. Специалисты агентства помогут создать локацию под вашу компанию в метавселенной, организовать мероприятие или создать PR-инфоповод.

3) Нейросети для создания 3D-объектов. 3D-моделлеры тоже могут упростить себе работу с помощью нейросетей. Например, они могут создавать 3D-модели из обычных изображений или текстовых запросов. С изображениями работает Assets Scout, а с текстом Luma AI Imagine 3D.

Пока что генерировать рабочие модели может небольшое количество нейросетей. И занимает это довольно много времени —  на создание одной 3D-модели уходит от получаса до нескольких часов. Но это все еще быстрее, чем работа с нуля.

Отдельные нейросети все же могут относительно быстро генерировать модели. Но при этом их качество выходит пока что слишком низкое для использования их в рабочих проектах. 

4) Анимация движений персонажа. Больше не нужно вручную настраивать все движения или тратить деньги на захват движения при помощи motion capture. Уже существует нейросети, которые считывают движения человека с видео или в реальном времени и переносят анимацию из видео на вашу 3D модель. 

Результат работы таких нейросетей сильно зависит от качества видео. Да и получившуюся анимацию все равно нужно будет дорабатывать вручную. Но даже в таком виде нейросети уже экономят время и деньги разработчиков.

5) Нейросети для синтеза аудио. Для создания аудиосопровождения в играх и метавселенных студии нанимают композитора, звукорежиссера или саунд-дизайнера. И никакая нейросеть пока что не сможет полноценно заменить их работу. 

Но отдельные звуки природы, шуршания одежды, шагов персонажей или несложную музыку все же можно создавать и с помощью нейросети. Программы могут даже озвучивать голоса с заданными характеристиками персонажей. Хоть и делают это пока намного хуже, чем профессиональные актеры Зато такой вариант создания аудиосопровождения подойдет небольшим командам разработчиков и стартапам. 

6) Нейросети для создания текста. В разработке проектов и игр создатели работают с текстами для интерфейса, описания предметов и локаций. Особенное внимание уделяется сценариям и диалогам персонажей. И все это уже могут генерировать нейросети. 

Программы могут анализировать контекст, перенимать стиль автора и писать свои сценарии и книги. Например, по сценариям нейросети ChatGPT даже уже сняли несколько короткометражных фильмов и видео для ютюба. Но нейросеть можно применять и для более масштабных проектов.

Примеры применения нейросети на виртуальных платформах

Сейчас уже можно найти примеры внедрения нейросетей в разработку игр. Их создатели делятся этапами своей работы и впечатлениями от использования алгоритмов. 

Например, разработчик игры Anticthon добавил в свой код сразу несколько нейросетей. Благодаря им пользователь может общаться с персонажами без использования текстового чата, только микрофон и голосовой ввод. 

Разработчик интегрировал нейросеть Open AI GPT-3 в персонажей игры. И благодаря ему они могут воспринимает речь игрока и анализировать ее, чтобы вести диалоги прямо во время игрового процесса. А чтобы персонаж могу отвечать синтез голоса настроен с помощью Google TTS. И для каждого конкретного персонажа он также подобран вручную разработчиком.

Другой разработчик использовал нейросеть Midjourney при работе над образом персонажа и локацией. Он показал этапы работы с алгоритмом вместе с подбором образов и переносом 2D-изображения в 3D-модель. По его ощущениям благодаря нейросети он смог сэкономить время при работе над образами:  2 дня работы над персонажем и 3 дня над локацией.

А компания Microsoft в тестовом режиме внедрила нейросеть OpenAI Codex на основе алгоритма GPT-3 в метавселенную Minecraft. Так разработчики протестировали возможность строительства объектов в виртуальном мире по текстовым запросам. Нейросеть смогла сгенерировать модели дома, животных и персонажей прямо в игре в режиме реального времени.

Заключение

Благодаря нейросетям у разработчиков появились новые возможности оптимизации своих процессов. И вместе с развитием технологий вариантов их использования станет еще больше. 

Сейчас уже можно выделить несколько способов использования нейросетей при разработке:

• написание и улучшение программного кода;
• разработка дизайна персонажа и локаций;
• создание 3D-объектов из текстовых запросов и изображений;
• анимация движений персонажа на основе видео;
• синтез аудиоэффектов для наполнения мира и озвучивания персонажей.
• создание текста для сценария и диалогов персонажей.

---