Автоматизація процесів. Роботи навчилися брати скло і блискучі предмети без датчиків глибини

Дослідники з Tokyo University of Science створили систему зору для роботів, яка дозволяє точно захоплювати прозорі предмети без датчиків глибини. Вона використовує RGB-камеру та відновлює форму об'єктів, що спрощує роботу з різними матеріалами.

Про це пише видання Interesting Engineering.

Роботам складно працювати зі склом, блискучим металом чи прозорим пластиком, адже такі поверхні спотворюють дані стандартних 3D-сенсорів. Через це часто потрібне втручання людини, а процеси сповільнюються.

Нова система під назвою HEAPGrasp визначає форму предметів за їхніми контурами, отриманими з RGB-камери. Камера робить зображення з кількох ракурсів, після чого алгоритм виділяє силуети об'єктів і відновлює їхню тривимірну форму. Метод працює стабільно навіть із прозорими або дзеркальними поверхнями, бо не залежить від даних про глибину.

Прозорі й дзеркальні предмети складно визначити датчиками глибини, тому автоматичне захоплення було нестабільним і потребувало участі людини. Дослідники виходили з того, що навіть без надійних даних про глибину можна оцінити форму об'єкта, якщо чітко бачити його контури.

Система спочатку відокремлює об'єкти від фону за допомогою моделі глибокого навчання, яка класифікує кожен піксель зображення. Потім застосовується метод Shape from Silhouette — об'єднання силуетів із різних ракурсів для побудови 3D-моделі. Щоб не збільшувати час обробки, дослідники додали алгоритм, який обирає найефективніший шлях руху камери.

Під час тестів у 20 сценаріях із прозорими, матовими та відбивними предметами система показала кращі результати за існуючі підходи. Вона досягла 96% успішних захоплень із однією камерою, зменшила рух камери на 52% і скоротила час виконання на 19%.

Система забезпечує точні 3D-вимірювання, мінімізуючи рух камери і час роботи. Вона також потребує менше налаштувань і її можна встановити на вже наявні роботизовані системи.

Розробку можна використовувати в логістиці, харчовій промисловості та виробництві, де часто працюють із різними матеріалами.

Источник: techno.nv.ua