Завдяки Adobe масштабування штучного інтелекту розмиті відео виглядають як у форматі HD

Дослідники Adobe розробили нову генеративну модель штучного інтелекту під назвою VideoGigaGAN , яка може покращувати розмиті відео у вісім разів порівняно з початковою роздільною здатністю. У документі, Adobe стверджує, що VideoGigaGAN перевершує інші методи Video Super Resolution (VSR), оскільки він може надавати більш дрібні деталі, не вносячи жодної «дивності штучного інтелекту» у відзнятий матеріал.

У двох словах, Generative Adversarial Networks (GAN) є ефективними для масштабування нерухомих зображень до вищої роздільної здатності, але їм важко зробити те саме для відео без появи мерехтіння та інших небажаних артефактів. Інші методи підвищення масштабу можуть цього уникнути, але результати не такі чіткі чи детальні. VideoGigaGAN прагне забезпечити найкраще з обох світів — вищу якість зображення/відео моделей GAN з меншою кількістю проблем із мерехтінням або спотворенням вихідних кадрів. Компанія надала тут кілька прикладів , які демонструють її роботу в повній роздільній здатності.

Деякі дрібніші деталі в демонстраційних роликах, наданих Adobe, здаються повністю штучними, як-от текстура шкіри та складки в прикладі нижче, але результати виглядають вражаюче природними. Було б важко сказати, що генеративний штучний інтелект використовувався для покращення роздільної здатності, що могло б розширити дискусію « що таке фотографія » і включити відео.

Це лише попередній перегляд дослідження, тому немає гарантії, що Adobe зробить VideoGigaGAN доступним для споживачів через програмне забезпечення Creative Cloud, як-от Premiere Pro. Раніше компанія вже попередньо переглядала окремий експеримент підвищення дискретизації на основі дифузії Project Res-Up під час свого заходу MAX у жовтні 2023 року, який так само покращує якість GIF-файлів із низькою роздільною здатністю та відеоматеріалів. І Adobe не одна в цій роботі, оскільки і Microsoft , і Nvidia також розробили власну технологію масштабування VSR.