Нейросеть Sora преобразует текст в видео

19.02.2024 |

Андрей Маркеев.

Появившиеся пару лет назад нейронные сети, позволяющие на основе текстового описания генерировать изображения, например Midjourney, произвели фурор среди пользователей. А в прошлом году «Яндекс» добавил свою нейросеть YandexGPT в приложение «Шедеврум» для генерации картинок с текстом и заголовком.

Интернет тут же наводнили картинки неведомых зверушек и шестипалых представителей Homo sapiens, созданных еще не слишком искусным искусственным интеллектом. Но, оказалось, что это еще не предел и GPT способны на гораздо большее.

В начале прошлого года компания Runway представила свою нейросеть Gen-2, позволяющую генерировать видео из текста.

Осенью подобный проект анонсировала и компания Pika.

И, наконец, в гонку включилась Google со своим проектом Lumiere.

Но на этом дело не закончилось. Буквально на днях американская компания OpenAI, являющаяся разработчиком чат-бота ChatGPT, объявила о начале тестирования ИИ- решения Sora для создания видео из текстовых запросов, а так же из статических картинок и отрывков видеороликов.

В техническом отношении модель Sora представляет собой сочетание GPT и программы, непосредственно генерирующей видео.

Благодаря обучению искусственного интеллекта пониманию и имитации закономерностей движения различных объектов в физическом мире, Sora может создавать широкоэкранные видео с разрешением до 1920x1080, а вертикальные видео - с разрешением до 1080x1920 пикселей и длительностью до одной минуты. Что позволяет комфортно просматривать их на устройствах самого различного форм-фактора.

В случае, когда пользователь задает системе краткое описание требуемого видео, нейросеть самостоятельно насыщает задание дополнительными подробностями, которые не были указаны первоначально.

При этом Sora способна реализовывать сложные сцены с несколькими персонажами, определенными типами движения и точной детализацией как объекта, так и фона.

И что немаловажно, программа сохраняет последовательность изображения объектов, даже если они временно выходят из поля зрения «камеры» или перекрываются другими предметами.

И, как говорилось выше, Sora позволяет генерировать видео на основе неподвижного изображения, заполнять недостающие кадры в существующем видео или продолжать его как в «прошлое», так и в «будущее».

С помощью Sora можно создавать как видео, включающие реалистичные сцены с людьми и животными, так и совершенно фантастические фильмы, далекие от привычной всем реальности.

Компания опубликовала несколько видео, созданных по различным текстовым сценариям.

Например, одно из заданий звучит так:

«Стильная женщина идет по улице Токио, наполненной теплым светом неона и анимированными вывесками города. Она одета в черную кожаную куртку, длинное красное платье и черные ботинки.

Она носит солнцезащитные очки и красную помаду, а в руках у нее черная сумочка.

Она идет уверенно и непринужденно. Улица влажная и отражающая свет, создавая зеркальный эффект разноцветных огней.

Мимо женщины по улице идут пешеходы.»

Картинка просто завораживает своей реалистичностью и с трудом верится, что все это создано ИИ.

Еще примеры

https://cdn.openai.com/tmp/s/interp/b1.mp4

https://cdn.openai.com/tmp/s/interp/c2.mp4

https://cdn.openai.com/tmp/s/interp/b0.mp4

https://cdn.openai.com/tmp/s/discussion_1.mp4

И, хотя на отдельных видео все же можно обнаружить некоторые артефакты, которые выдают огрехи искусственного интеллекта, тем не менее уже сейчас результаты довольно впечатляющие.

Появление Sora и аналогичных ей проектов по генерированию видео может существенно изменить подход к созданию визуального контента, включая компьютерную графику при съемках фильмов.

Пользователи получают в свои руки относительно простой и недорогой инструмент, позволяющий создавать контент с высоким уровнем детализации и реализма.
Но одновременно с появлением Sora и других подобных ей генераторов видео на базе ИИ, возникают некоторые вопросы этического, философского и технического характера.
В первую очередь речь идет о потенциальных рисках злоупотребления технологией.

Такие системы позволяют создавать настолько убедительные дипфейки и иную дезинформацию, что остро встает вопрос о параллельной разработке мер по выявлению и борьбе с подобным контентом, так как его теперь легко можно будет выдавать за реальный.

В самой OpenAI уже разрабатывают инструменты для выявления фейкового контента, включая классификатор для определения видео, созданных с помощью ИИ. В случае интеграции модели в продукты OpenAI, планируется использование метаданных C2PA для улучшения прозрачности происхождения контента.

На данное время компания предлагает тестовый доступ к Sora ограниченному числу пользователей. Одна группа, состоящая из профильных специалистов, оценивают модель на предмет потенциального вреда и рисков. А вторая, включающая в себя художников, дизайнеров, кинематографистов и представителей других творческих профессий, исследует непосредственно ее возможности для применения с практической точки зрения.

И в связи с бурным развитием систем с использованием искусственного интеллекта, нейронных сетей и устройств дополненной реальности, невольно возникает вопрос, а не будет ли Создателем построена на базе человеческой цивилизация новая, использующая совсем иные принципы, отличные от тех, что лежат в основе биологической жизни?

Правда, остается еще один, экзистенциальный вопрос — а где же в новой формации будет определено место душе и, вообще, будет ли для нее место в компьютерном мире?

И уж совсем наивными сегодня кажутся опасения, связанные с робототехникой, получившие распространения в прошлом веке и квинтэссенцией которых являются три закона робототехники, сформулированные писателем-фантастом Айзеком Азимовым:

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Сегодня на повестке дня все острее встает вопрос подлинности контента, который ИИ выдает все совершеннее и похожее на реальность.

А киборги и робокопы, бунты роботов и законы непричинения зла, пока отошли на задний план. Да и про их души пока особо никто не задумывается.

Тут как бы свои уберечь и не потерять в круговерти виртуальных реальностей.