Очередной прорыв в сфере искусственного интеллекта: OpenAI представляет Sora: ИИ модель, создающая фотореалистичные видео из текста

Компания OpenAI, известная своими разработками в сфере искусственного интеллекта представила новую ИИ модель Sora. Если к изображениям созданным из текстового описания мы уже привыкли, то эта модель способна на большее: она умеет превращать текстовые описания в живые, практически фотореалистичные видеоролики.

Sora демонстрирует впечатляющий потенциал, генерируя сцены от динамичных гонок  винтажных внедорожников по горам до мультипликационных роликов с монстрами. На данный момент модель доступна лишь ограниченному кругу лиц для тестирования безопасности и выявления рисков, а также некоторым художникам для получения первых отзывов.

OpenAI уже давно является лидером в сфере доступного ИИ. Она в свое время произвела революцию в генерации текста и изображений благодаря ChatGPT и  DALL-E. Теперь, с помощью Sora, компания делает шаг в мир генерации видео из текста, стремясь ещё дальше расширить границы креативности ИИ.

Sora может создавать видео длительностью до минуты, наполненные сложными сценами с несколькими персонажами, естественной анимацией и детализированными фонами. Всё, что вам нужно сделать, - это дать ей текстовое описание желаемой сцены. Результаты поражают своей реалистичностью, демонстрируя невероятный потенциал искусственного интеллекта в визуальном повествовании.

OpenAI приводит несколько примеров работы Sora. Например, она может создать видеоролик с винтажным внедорожником, покоряющим горную местность, или сцену с очаровательным пушистым монстром, сидящим рядом с тающей свечой. Видеоролики отличаются удивительной точностью по отношению к заданным описаниям. Вот один из кадров такого ролика: 

Однако Sora не идеальна. В некоторых случаях можно заметить незначительные несоответствия или нереалистичные движения, что указывает на необходимость дальнейшей доработки. Например, в сцене, где кот просит у спящего хозяина завтрак, общая картина вполне правдоподобна, но внимательные зрители могут увидеть неестественные движения хозяина, когда он просыпается. Тем не менее, эти недостатки меркнут на фоне общей способности модели создавать потрясающие визуальные повествования.

Один из ярких примеров - изображение пушистого монстра рядом с тающей свечой. Результат выглядит по-настоящему великолепно, словно из мультфильма Pixar. Мелкие детали, такие как текстура меха существа, которую раньше было notoriously сложно изобразить, демонстрируют мастерство Sora в работе со сложными визуальными элементами.

  изображения: OpenAI