В канадских автор книги Маргарет Этвуд «слепых убийц», — говорит она, что “прикосновение доходит до взгляда, до слова. Это первый язык, и в прошлом, и он всегда говорит правду”.
Пока наше чувство осязания дает нам канал, чтобы чувствовать физический мир, наши глаза помогают нам понять полную картину этих тактильных сигналов.
Роботы, которые были запрограммированы, чтобы увидеть или почувствовать не может использовать эти сигналы вполне взаимозаменяемы. Чтобы лучше преодолеть этот разрыв чувств, исследователи компьютерных наук Массачусетского технологического института и лаборатории искусственного интеллекта (CSAIL) придумали прогнозирования, искусственного интеллекта (AI), которые можно научиться видеть прикасаясь, и научиться чувствовать, видя.
Системы команды могут создавать реалистичные тактильные сигналы от визуальных материалов, и предсказать, какой объект и какую часть затрагивается непосредственно от тех тактильных материалов. Они использовали роботов Kuka робот со специальным тактильным датчиком GelSight, разработанный другой группой в Массачусетском технологическом институте.
С помощью простой веб-камеры, коллектив записал около 200 объектов, таких как инструменты, бытовые изделия, ткани, и многое другое, прикосновения более 12000 раз. Нарушая эти 12,000 видеоклипы в статических кадров, команда составлена “VisGel,” набор данных из более чем 3 млн. визуально/тактильно-парные картинки.
“Глядя на сцену, в нашей модели можно представить ощущения прикосновения к ровной поверхности или острым краем”, — говорит Yunzhu ли CSAIL аспирант и ведущий автор на новой бумаге о системе. “Слепо касаясь вокруг, наша модель может предсказать взаимодействие сугубо с окружающей средой от тактильных ощущений. Объединяя эти два чувства могут расширить возможности робота и уменьшить данные нам понадобится для задач, в которых манипулирования и захвата объектов”.
Последние работы по оснащению роботов более похожими на людей физические чувства, такие, как Массачусетский технологический институт в 2016 году проект с использованием глубокого обучения к наглядно указывают на звуки, или модель, которая предсказывает объектов ответы на физические силы, как использовать большие наборы данных, которые недоступны для понимания взаимодействия между зрением и осязанием.
Техника команды передвигается с помощью набора данных VisGel, и то, что называется генеративной состязательности сети (Ганс).
Ганс использовать визуальные или тактильные образы для создания образов в другие модальности. Они работают с помощью “генератора” и “дискриминатор”, которые конкурируют друг с другом, где генератор направлена на создание реального изображения, чтобы обмануть дискриминатора. Каждый раз, когда различитель “ловит” генератора, он должен разоблачить внутренние рассуждения решения, что позволяет генератору многократно улучшить себя.
Видение на ощупь
Люди могут увидеть, как объект чувствует, просто увидев его. Лучше дать машинам этой власти, сначала пришлось найти положение касания, а затем вывести информацию о форме и чувствовать региона.
Референсы — без какого-либо робота-объектное взаимодействие — помогла система кодировать информацию об объектах и окружающей среде. Затем, когда рука робота была операционная, модель может просто сравнивать текущий кадр с эталонного образа, и легко определить местоположение и масштаб ощупь.
Это может выглядеть подавая система изображения компьютерной мышки, а потом “видеть” зону, где модель предсказывает, что объект должен быть задел на пикап — который может значительно помочь машинах плану безопасных и более эффективных действий.
Прикоснуться к видению
Для сенсорного видения, его цель состояла в модель, чтобы создать визуальный образ на основе тактильных данных. Модель анализируемого тактильные изображения, а затем разобрался с формой и материалом контактной позиции. Затем он снова посмотрел на исходный образ в “галлюцинировать” взаимодействие.
Например, если во время тестирования модели был сыт по тактильным сведения о ботинок, он может произвести изображение, где обувь была, скорее всего, трогать.
Такие способности могут быть полезны для выполнения задач в тех случаях, когда нет никаких визуальных данных, например, когда свет выключен, или если человек слепо идущие в коробку или неизвестной области.
Забегая вперед
Текущий набор данных имеет только примеры взаимодействия в контролируемой среде. Команда надеется улучшить это путем сбора данных в неструктурированных областях, или с помощью нового МИТ-разработаны тактильные перчатки, чтобы лучше увеличить размер и разнообразие данных.
Есть еще детали, которые может быть сложно вывести из режима переключения, например, определяет цвет объекта, просто прикоснувшись к нему, или говорит, как мягкий диван без нажатия на нее. Исследователи говорят, что это может быть улучшена путем создания более надежных моделей на неопределенность, расширить распределение возможных результатов.
В будущем, такая модель могла бы помочь с более гармоничные отношения между зрением и робототехники, особенно для распознавания объекта, хватание, лучше сцена понимание, и помощь с бесшовной человека-робота интеграции в вспомогательные или промышленном производстве.
“Это первый метод, который может убедительно воплотить между визуальный и сенсорный сигналы”, — говорит Эндрю Оуэнс, постдок в Калифорнийском университете в Беркли. “Методы, как это имеет потенциал, чтобы быть очень полезными для робототехники, где вам нужно отвечать на вопросы вроде ‘это объект твердый или мягкий?’, или если я поднимаю эту кружку за ручку, как хороша будет моя хватка быть?’ Это очень сложная проблема, т. к. сигналы очень разные, и эта модель продемонстрировала большой потенциал”.
Ли писал статьи, вместе с профессорами МИТ Русс Tedrake и Антонио Торральба, и МИТ постдок июня-Ян Чжу. Он будет представлен на следующей неделе на конференции по компьютерному зрению и распознаванию образов в Лонг-Бич, Калифорния.
