Lumiere: модель искусственного интеллекта от Google для создания реалистичных видео из текстовых описаний

Видеоиндустрия никогда не будет прежней: компания Google представила новую модель искусственного интеллекта под названием Lumiere (Люмьер), которая позволяет создавать реалистичные видео из текстовых описаний. 

Люмьер основана на технологии диффузионного моделирования, которая позволяет поэтапно генерировать изображение из набора случайных данных.

Lumiere может создавать видео с различными сюжетами и персонажами. Например, она может создать видео о прогулке по городу, о встрече с друзьями или о поездке на природу. Google утверждает, что Lumiere может создавать видео, которые неотличимы от реальных. Люмьер пока находится в стадии разработки, но Google планирует предоставить доступ к ней широкому кругу пользователей в будущем. Модель может быть использована для создания различных видов контента, включая фильмы, сериалы, рекламу и образовательные видео.

Как работает Lumiere?

Lumiere основана на технологии диффузионного моделирования, которая позволяет создавать изображения из набора случайных данных. В начале процесса Lumiere создает случайное изображение. Затем она использует алгоритмы машинного обучения для постепенного улучшения изображения, пока оно не станет реалистичным.

Lumiere использует два основных алгоритма:

• Генератор создает новое изображение из набора случайных данных.
• Диффузионный процесс оценивает качество изображения и использует алгоритмы машинного обучения для его улучшения.

Генератор использует набор данных изображений и текстов для создания нового изображения. Диффузионный процесс оценивает качество изображения с помощью нескольких критериев, таких как яркость, контрастность и детализация. Затем он использует алгоритмы машинного обучения для улучшения изображения, пока оно не станет реалистичным.

Что может делать Lumiere?

Lumiere может создавать видео с различными сюжетами и персонажами. Например, она может создать видео о прогулке по городу, о встрече с друзьями или о поездке на природу. Google утверждает, что Lumiere может создавать видео, которые неотличимы от реальных.

Вот некоторые конкретные примеры того, что может делать Lumiere:

TLDR: Meet Lumiere our new text-to-video model from @GoogleAI!

Lumiere is designed to create entire clips in just one go!
Seamlessly opening up possibilities for many applications:
Image-to-video Stylized generation Video editing ? and beyond.

See pic.twitter.com/Szj8rjN2md

— Hila Chefer (@hila_chefer) January 24, 2024

Люмьер умеет создавать видео с реальными местами и людьми. Например, он может создать видео о прогулке по Парижу или о встрече с друзьями в кафе.

Может он и создавать видео с вымышленными сюжетами. Например, Lumiere может создать видео о путешествии в космос или о встрече с инопланетянами.

Вы также сможете создать видео для обучения. Например, Lumiere может создать видео о том, как работает какой-либо механизм или как решать какую-либо задачу.

Когда будет доступна Lumiere?

Lumiere пока находится в стадии разработки, но Google планирует открыть ее для общественности в будущем. Компания не сообщила точной даты выхода Lumiere, но ожидается, что она появится уже в обозримом будущем.