Как управлять роботом с помощью мысли и жестов (+видео)

Создавать эффективных роботов для работы нелегко. Как правило, ученые должны либо точно программировать их, либо научить пониманию языка людей для общения. Но что, если бы мы могли управлять роботами интуитивно, используя только жесты и электромагнитные волны, исходящие от мозга?

Подобный подход пытаются реализовать исследователи из лаборатории искусственного интеллекта и информатики (CSAIL) Массачусетского технологического института. Их система позволит операторам мгновенно исправить ошибки робота всего лишь с помощью электромагнитных сигналов мозга и движения пальцев.

С помощью мониторинга активности головного мозга система может обнаружить в режиме реального времени отмечаемые человеком ошибки в выполняемой роботом задаче. Используя интерфейс, который измеряет мышечную активность, человек может делать управляющие жесты и выбирать правильный вариант действий для выполнения роботом задач.

Команда продемонстрировала действие системы в задаче, где робот перемещает дрель в одно из трех возможных положений на корпусе макета самолета. Главное в том, что система работает с людьми, никогда ранее не знакомыми с системой, а это означает, что организации могли бы использовать ее в реальных ситуациях без необходимости обучения пользователей.

«Эта работа, сочетающая электрические (ЭЭГ) и электромагнитные (ЭМГ) сигналы обратной связи, дает возможность естественного взаимодействия между человеком и роботом в разнообразных ситуациях и условиях, в сравнении с использованием ранее обратной связи лишь по ЭЭГ, — говорит директор CSAIL Даниэла Рус, которая руководит работой. — Посредством включения мышечной обратной связи мы можем использовать жесты для управления роботом в пространстве с серьезно расширенной спецификой и нюансами».

«Огромное преимущество такого подхода заключается в том, что нет необходимости обучать пользователей думать в установленном порядке, — говорит кандидат наук Иосиф Дель Прето. — Машина подстраивается под вас, а не наоборот».
Для работы над проектом использовался Baxter — человекоподобный робот компании Rethink Robotics. Под наблюдением человека робот повысил точность выбора цели с 70% до более чем 97%.