Управлять роботами можно с помощью теней

Чтобы идентифицировать прикосновение человека к электронному устройству, нужны десятки датчиков. Команда исследователей придумала, как можно обойтись всего одной камерой: научила робота реагировать на тень.

Новая система ShadowSense основана на игре теней, а именно на размере отбрасываемой человеческой рукой тени либо других жестах. Внутри мягкого робота в виде надутого цилиндра находится камера, способная отслеживать перемещения и касания за счёт специального алгоритма. Как только робот точно определяет движение, он выполняет ту или иную команду.

По словам исследователей, такой подход открывает множество альтернативных сценариев взаимодействия с механизмами. Идентифицировав место прикосновения, машина способна привязать этот жест к конкретным командам. На видео разработчики предлагают несколько идей. К примеру, устройство уже способно распознавать прикосновения ладони, удары кулаками, прикосновение двумя руками, объятие, указательный жест и отсутствие касания. В данный момент точность распознавания составляет от 87,5 до 96%.

Технология ShadowSense выглядит перспективно, но имеет ряд ограничений. Так, обаятельно нужен источник света, кроме того, камера должна постоянно фиксировать изменения движущейся руки. Исследователи предлагают задействовать зеркала или линзы, но пока дальше идей дело не сдвинулось.