Носить датчик-упакованные перчатки при обработке различных объектов, исследователи Массачусетского технологического института создали массивный набор данных, что позволяет системе ИИ распознавать объекты через прикосновение. Эта информация может быть использована, чтобы помочь роботам идентифицировать и манипулировать объектами, и может помочь в разработке протезов.
Исследователи разработали недорогую вязаную перчатку, называемый “масштабируемый тактильные перчатки” (олень), оборудовано около 550 крошечные датчики через почти всю руку. Каждый датчик фиксирует сигналы давления как люди взаимодействуют с объектами различными способами. Нейронная сеть обрабатывает сигналы, чтобы “узнать” набор давления-сигнал паттернов, связанных с конкретными объектами. Затем система использует набор данных для классификации объектов и прогнозирования их отягощений на ощупь, без зрительного входа необходимо.
В статье, опубликованной сегодня в Nature, исследователи описывают набор данных, они составлены с использованием олень по 26 общие объекты — включая газировки, ножницы, теннисный мяч, ложка, ручка и кружка. Используя набор данных, система предсказал объектов тождества с до 76 процентов точности. Система также может предсказать точный вес большинства объектов в течение примерно 60 грамм.
Похожие сенсорных перчаток, используемых на сегодняшний день выполняются десятки тысяч долларов и зачастую содержат лишь около 50 датчиков, которые фиксируют меньше информации. Хотя олень производит очень высокой разрешающей способностью, он сделан из коммерчески доступных материалов на общую сумму около 10$.
Системы очувствления могут быть использованы в сочетании с традиционными компьютерного зрения и изображения на основе наборов данных, чтобы дать роботов более похожими на людей понимание взаимодействия с объектами.
“Люди могут идентифицировать и обрабатывать объекты, а потому, что у нас есть тактильная обратная связь. Как мы касаемся, мы вокруг и осознать, что они есть. Роботов пока нет, что богатые обратной связи”, — говорит Субраманьян Сундарам кандидат ’18, бывший аспирант в области компьютерных наук и лаборатории искусственного интеллекта (CSAIL). “Мы всегда хотели, чтобы роботы делать то, что люди могут делать, например, посуду или другие дела. Если вам нужны роботы, чтобы делать все эти вещи, они должны уметь очень хорошо манипулировать объектами”.
Исследователи также использовали набор данных для измерения сотрудничества между регионами силы при взаимодействии объектов. Например, когда кто-то использует среднем суставе указательным пальцем, они редко используют их большого пальца. Но кончики указательного и среднего пальцев всегда соответствует использование большого пальца. “Мы количественно показывают, впервые, что, если я использую одну часть моей силы, как, вероятно, я должен использовать другой частью моей рукой”, — говорит он.
Производители протезов может использовать информацию, скажем, выбрать оптимальные места для размещения датчиков давления и помочь настроить протезирования, задачи и объекты, люди регулярно взаимодействовать.
Присоединение Сундарам на бумаге: CSAIL постдоков Петр Kellnhofer и июня-Ян Чжу; CSAIL аспирант Yunzhu ли; Антонио Торральба, профессор EECS и директор МИТ-IBM Уотсон лабораторию ИИ; и Войцех Matusik, адъюнкт-профессор электротехники и компьютерных наук и руководитель расчетной группы изготовления.
Олень покрыт электропроводящий полимер, который изменяет сопротивление приложенному давлению. Ученые нашили проводящие нити через отверстия в полимерные пленки, от кончиков пальцев к основанию ладони. Потоки перекрываются таким образом, что превращает их в датчики давления. Когда кто-то носит перчатки, чувствует, поднимает, держит, и создает объект, датчики регистрации давления в каждой точке.
Потоки, подключите перчатки к внешней цепи, которая преобразует данные давления в “тактильные карты”, которая, по сути, краткое видео точек растет и сокращается по графику силы. Точки представляют собой местоположения точек давления, и их размер представляет силу — чем больше точка, тем выше давление.
Из тех карт, исследователи собрали данные около 135 000 видео-кадры из взаимодействий с 26 объектов. Эти кадры могут быть использованы нейронные сети для прогнозирования личности и массы объектов, и предоставить выводы о человеке понять.
Для определения объектов, исследователи разработана сверточная нейронная сеть (CNN), по которым обычно используется для классификации изображений, чтобы связать конкретные модели давления с конкретными объектами. Но весь фокус заключался в выборе рам из различных видов хваток, чтобы получить полную картину объекта.
Идея заключалась в том, чтобы имитировать, как люди могут держать объект в несколько различных способов для того, чтобы признать его, не используя зрение. Аналогично, исследователей телеканал CNN выбирает до восьми semirandom кадры из видео, которые представляют самых разнородных захватывает — сказал, держа кружку снизу, сверху, и ручки.
Но CNN может не просто выбрать случайные кадры из тысячи в каждом видео, или он, вероятно, не выбрать отдельные ручки. Вместо этого группы похожие кадры вместе, в результате чего в различных кластерах, соответствующих уникальным захватывает. Тогда он дергает один кадр из каждого из этих кластеров, обеспечивая себе репрезентативная выборка. Затем телеканал CNN использует паттерны контакта он узнал в подготовке прогнозировать классификации объектов из избранных кадров.
“Мы хотим максимизировать различия между кадрами, чтобы дать лучший возможный вклад в нашу сеть,” Kellnhofer говорит. “Все кадры внутри одного кластера должны иметь сходные подписи, которые представляют подобные способы захватывания объекта. Выборка из нескольких кластеров имитирует человека в интерактивном режиме, пытаясь найти различные захваты, исследуя объект”.
Для оценки веса, исследователи построили отдельный набор данных примерно 11,600 кадров из тактильной карты подхватили и большой палец, провела объектов, и упал. В частности, телеканал CNN не проходили обучение на каких-либо рамок, он был протестирован на, означает, что она не могла научиться просто связать вес с объектом. В тестировании, был один кадр, введенного в СNN. По сути, телеканал CNN выбирает давления вокруг руки, вызванное массой объекта и игнорирует давление, вызванное другими факторами, такими как силы позиционирования для предотвращения объекта от скольжения. Затем он рассчитывает вес на основании соответствующего давления.
Системы могут быть объединены с датчиками уже на суставы робота, который измеряет крутящий момент и силу, чтобы помочь им лучше прогнозировать вес объекта. “Суставы имеют важное значение для прогнозирования веса, но также являются важными компонентами вес из пальцев и ладони, которое мы фиксируем”, — говорит Сундара.
