Luma випускає нову ШІ модель, що дозволяє користувачам створювати відео з початкового та кінцевого кадрів

Luma, компанія з розробки відео та 3D-моделей на основі штучного інтелекту, що підтримується a16z, випустила нову модель під назвою Ray3 Modify, яка дозволяє користувачам змінювати існуючі кадри, надаючи опорні зображення персонажів, що зберігають продуктивність оригінального відеоматеріалу. Користувачі також можуть надати початковий та кінцевий кадри, щоб допомогти моделі створювати перехідні кадри.

Ray3 Modify розв'язує проблеми збереження людської продуктивності під час редагування або створення ефектів за допомогою штучного інтелекту для креативних студій. Стартап зазначив, що модель краще відповідає вхідному відеоматеріалу, що дозволяє студіям використовувати акторів-людей для креативних або брендових відеоматеріалів. Luma зазначила, що нова модель зберігає оригінальні рухи, таймінг, лінію погляду та емоційну передачу актора, трансформуючи сцену.

За допомогою Ray3 Modify користувачі можуть надати посилання на персонажа для трансформації оригінального відеоматеріалу та перетворити зовнішність актора на цього персонажа. Це посилання також дозволяє творцям зберігати таку інформацію, як костюми, схожість та ідентичність, протягом усіх зйомок.

Щобільше, користувачі також можуть надавати початкові та кінцеві опорні кадри для створення відео за допомогою нової моделі Ray3 Modify. Це корисно для творців, які можуть керувати переходами або рухами чи поведінкою персонажів, зберігаючи при цьому безперервність між сценами.

«Генеративні відеомоделі неймовірно виразні, але також важко контролювати. Сьогодні ми раді представити Ray3 Modify, який поєднує реальний світ з виразністю штучного інтелекту, надаючи повний контроль творчим працівникам. Це означає, що творчі команди можуть знімати виступи камерою, а потім негайно модифікувати їх, щоб вони були в будь-якому уявному місці, змінювати костюми або навіть повертатися та перезнімати сцену за допомогою штучного інтелекту, не відтворюючи фізичну зйомку», – заявив Аміт Джайн, співзасновник і генеральний директор Luma AI.

Luma заявила, що нова модель доступна користувачам через платформу Dream Machine компанії. Компанія, яка конкурує з такими компаніями, як Runway та Kling, випустила можливості модифікації відео в червні 2025 року.

Випуск моделі відбувається на тлі нового раунду фінансування у розмірі 900 мільйонів доларів , який очолює компанія Humain, що займається штучним інтелектом, що належить Публічному інвестиційному фонду Саудівської Аравії, для стартапу, оголошеного у листопаді. У раунді також взяли участь такі існуючі інвестори, як a16z, Amplify Partners та Matrix Partners. Стартап також планує побудувати кластер штучного інтелекту потужністю 2 ГВт у Саудівській Аравії разом з Humain.