П’ять етапів розробки. Amazon об'єднала інструменти AWS і NVIDIA для навчання роботів на основі ШІ

Про це пише видання Interesting Engineering.

Платформа поєднує хмарні обчислення, симуляцію та навчання штучного інтелекту від AWS і NVIDIA.

Вона призначена для розробки промислових роботів, автономних мобільних машин і гуманоїдних систем. За задумом Amazon, вона має спростити перенесення моделей ШІ з етапу розробки на фізичне обладнання та скоротити обсяг інженерної роботи.

Physical AI Toolchain on AWS охоплює п’ять етапів розробки: створення синтетичних даних, навчання моделей, симуляцію та перевірку поведінки роботів, розгортання на пристроях і постійне вдосконалення систем на основі даних, зібраних під час роботи.

Для цього використовуються сервіси Amazon SageMaker для навчання моделей, графічні процесори Amazon EC2 для симуляції, AWS IoT Greengrass для запуску ШІ безпосередньо на пристроях і Amazon Bedrock AgentCore для координації процесів.

Платформа також інтегрує інструменти NVIDIA: Isaac Sim для симуляції робототехніки, Isaac Lab для навчання з підкріпленням, Isaac GR00T для розробки гуманоїдних роботів і Cosmos для створення синтетичних середовищ.

Синтетичні дані дають змогу створювати додаткові сценарії навчання без необхідності записувати кожну ситуацію в реальному світі. Симуляція допомагає перевіряти поведінку роботів у віртуальному середовищі до запуску на фізичному обладнанні. Після розгортання зібрані дані можна використовувати для подальшого вдосконалення моделей.

За даними Amazon, компанія спирається на досвід експлуатації власної роботизованої інфраструктури, яка налічує понад мільйон роботів у її мережі. Цей досвід охоплює, зокрема, координацію роботизованих флотів і підтримку програмного забезпечення на обладнанні, яке вже працює.

Серед розробників, які працюють із фізичним ШІ, Amazon назвала NEURA Robotics, що створює когнітивних гуманоїдних роботів, RLWRLD, яка розробляє базові моделі для маніпуляцій із предметами, а також Config, що побудувала систему збирання та розширення даних для навчання роботизованих дій.

Платформа може використовуватися для створення роботизованих маніпуляторів, здатних адаптуватися до нових завдань на виробництві, та автономних машин для переміщення матеріалів і контролю виробничих процесів. Водночас Physical AI Toolchain on AWS є інструментарієм для розробки, а не готовим роботом.

Одним із головних викликів залишається перенесення навичок із симуляції в реальний світ. На фізичному обладнанні моделі можуть стикатися з несподіваними змінами тертя, освітлення, шумом датчиків і відмінностями між об'єктами. Тому успішна робота у віртуальному середовищі не гарантує надійної роботи на заводі чи складі.

AWS і NVIDIA прагнуть спростити цей процес завдяки спільному робочому середовищу, яке об'єднує навчання, симуляцію, розгортання та вдосконалення моделей. Інструментарій також передбачає можливості керування роботизованими флотами, зокрема налаштування, захист і оновлення пристроїв у міру масштабування проєктів.