Модель світу Google Genie 4 додає аудіо, реалістичніші світи та керування в режимі реального часу
Google DeepMind випустила свою найновішу модель світу, Genie 4, у дослідницькому режимі. Найновіша модель генерує найбільш фотореалістичні та інтерактивні світи на сьогоднішній день, дозволяючи користувачам вводити підказки посеред симуляції для зміни сцени. Модель також генерує звук у реальному часі, який відповідає симульованому світу, включаючи музику, навколишні шуми та інтерактивні діалоги.
Випуск Genie 4 відбувся через кілька місяців після того, як стартап зі штучного інтелекту Runway випустив свою другу модель світу, GWM Worlds 2 , ігрову модель, яка динамічно реагує на дії користувача та включає генерацію аудіо. Водночас індустрія моделей світів починає консолідуватися. World Labs Фей-Фей Лі купується AMD , Amazon веде переговори про купівлю Decart , а Rivian щойно придбала Third Dimension, щоб розвинути власні можливості моделювання для тестування автономного водіння.
Genie 4 – це останній крок Google, спрямований на те, щоб залишатися попереду на переповненому ринку.
Трохи більше року тому Google випустив свого попередника, Genie 3, як дослідницький ознайомлювальний перегляд. Окрім того, що Genie 4 набагато фотореалістичніший та має аудіо, він дозволяє довільне редагування, таке як зміна погоди чи ракурсу камери в режимі реального часу, або додавання нових людей чи об'єктів. Він може підтримувати послідовність сцени до двох хвилин, що вдвічі перевищує ліміт попередника, а також пропонує кращу фізику та більш людиноподібних персонажів.
Gemini, модель штучного інтелекту від Google, також тісніше інтегрована з Genie 4, виконуючи роль режисера, який планує кроки та перевіряє кадри, поки Genie створює візуальні ефекти. У дослідницькому експерименті, пов'язаному з Gemini Robotics, модель Gemini 4 Argon розбила завдання на кроки, які Genie 4 моделював у режимі реального часу. Експеримент показує можливий спосіб тестування сценаріїв роботи в симуляції, перш ніж вони відбудуться в реальному світі.
«У майбутньому ми все частіше будемо бачити ці гібридні моделі світу, де Gemini поєднує код і текст, а Genie використовує їх у режимі реального часу та симулює реальність на різних рівнях абстракції», – сказав під час брифінгу Теджас Кулкарні, директор з досліджень Google.
Як і у випадку з іншими світовими моделями, передбачувані комерційні варіанти використання включають ігри, інтерактивне навчання та робототехніку. Одним із спекулятивних прикладів інтерактивного навчання може бути вхід у картину з історичною сценою та розмова з героями картини про зображену подію.
Але «довірені тестувальники» — люди, які першими отримують доступ до передових продуктів Google — вказують на можливе нове використання: створення прототипів плівок.
«Аспект реального часу стає найціннішим у тих сферах, де підтримка стану потоку в творчому просторі стає неймовірно корисною», – сказав Дієго Рівас, інженер Google DeepMind, під час брифінгу для преси. «Наприклад, на етапі генерації ідей, на етапі створення розкадровки – щоразу, коли вам потрібна швидка генерація ідей».
Google також пропонує Veo, свою модель генерації відео на основі штучного інтелекту, яка створює кліпи високої чіткості з вбудованим синхронізованим аудіо з текстових, графічних або відеопідказок — інструмент, що набуває все більшої популярності серед кінематографістів .
Рівас додав, що користувачі зрештою зможуть покластися на Gemini Omni , мультимодальну модель великої мови, яка може генерувати відео із зображень, аудіо та тексту, щоб перетворити ці прототипи на креативні ресурси. Хоча, за його словами, ці можливості все ще далекі від реальності.
Протягом брифінгу Рівас наголосив, що Genie 4 все ще знаходиться на ранній стадії розробки, і що поки що незрозуміло, яким буде повний цикл роботи з продуктом. Команда також визнала, що Genie 4 все ще має недоліки: деталі та об'єкти можуть зміщуватися, чим довше триває симуляція, і вони досі не зовсім зрозуміли, як забезпечити точність звуку та розбірливість будь-якого тексту у світі.
Genie 4 вже доступний як дослідницький попередній перегляд для перевірених тестувальників. У найближчі тижні модель буде розгорнута для передплатників Google AI Ultra у Project Genie , інструменті Google на базі штучного інтелекту для створення інтерактивних світів з текстових або графічних підказок, а також для партнерів раннього доступу до Gemini API та Google AI Studio.