Несколько лет назад, идея заставить компьютер система видения, тонко изменяя пикселей в изображении или взлома дорожный знак был больше похож на гипотетическую угрозу, чем что-нибудь, чтобы всерьез беспокоиться. В конце концов, самостоятельное вождение автомобиля в реальном мире будут воспринимать манипулировать объектом с разных точек зрения, что сведет на нет любые вводящую в заблуждение информацию. По крайней мере, это то, что одно исследование заявленной.
“Мы думали, нет никакого способа, что это правда!” — говорит аспирант Массачусетского технологического института Эндрю Ильяс, тогда второкурсник Массачусетского технологического института. Он и его друзья — Аниш Athalye, Логан Энгстром, и Джесси Лин — отсиживались в студенческий центр МИТ и придумал эксперимент, чтобы опровергнуть исследования. Они бы распечатать набор трехмерных черепах и показывают, что классификатор компьютерного зрения могли принять их за винтовки.
Результаты их экспериментов, опубликованные в прошлом году на международной конференции по машинному обучению (ICML ПО), были широко освещены в СМИ, и служили напоминанием о том, насколько уязвимы системы искусственного интеллекта за самостоятельного вождения автомобилей и распознавания лиц программное обеспечение может быть. “Даже если вы не думаете, а значит, злоумышленник собирается возмутить свои знак «стоп», это настораживает, что это возможно”, — говорит Ильяс. “Состязательность примере исследования об оптимизации в худшем случае, а не средний случай”.
Без факультета соавторы поручиться за них, Ильяс и его друзья опубликовали свои исследования под псевдонимом “Лаборатория 6,” играть на 6 курс, факультет электротехники и информатики (ЕЭКУ) майор. Ильяс и Энгстрем, теперь МИТ аспирант, будет продолжаться, чтобы опубликовать вместе более пяти документов, с полдюжины более в трубопроводе.
В то время, риск, связанный с состязательным примеры был еще плохо изучен. Янн Лекун, глава Facebook Ай, лихо преувеличивать проблему в Twitter. “Вот один из пионеров глубокое изучение говорите, это, как это, и говорят, нах!”, — говорит Ремо профессор Madry Александр. “Это просто не казалось правильным, и они были полны решимости доказать, почему. Их наглость очень МТИ”.
Масштаб проблемы вырос более четким. В 2017 году, научный сотрудник IBM пин-Юй Чэнь показал, что модель компьютерного зрения может быть нарушена в так называемый «черный ящик» -атака, просто подавая его постепенно измененные изображения до одной вызвало сбой системы. Расширяя на работу Чена на ICML ПО в прошлом году, команда Лаборатории 6 выделены многочисленные случаи, в которых классификаторов может быть введен в заблуждение кошек и лыжников для гуакамоле и собак, соответственно.
Этой весной, Ильяс, Энгстром, и Madry представлены рамки на ICML ПО для изготовления черного ящика атак в несколько раз быстрее за счет использования информации, полученной с каждой попыткой подмены. Возможность крепления более эффективным черного ящика атаки позволяет инженерам создавать новые модели, чтобы быть более устойчивыми.
“Когда я встретила Эндрю и Логан как студенты, они уже как опытные исследователи”, — говорит Чэнь, который сейчас работает с ними через МИТ-лаборатории IBM Уотсон ИИ. “Они также больш коллаборационистов. Если один говорит, другой прыгает в и заканчивает свою мысль.”
Динамический недавно был на выставке, как Ильяс и Энгстром сел в stata, чтобы обсудить свою работу. Ильяс казалось, вдумчивого и осторожного, Энгстром, исходящих, а порой и дерзкой.
“В исследовании мы много спорим”, — говорит Ильяс. “Если ты слишком похож, вы укрепляете плохие идеи друг друга.” Энгстром кивнул. “Это может стать очень напряженной”.
Когда приходит время писать статьи, они по очереди на клавиатуру. “Если это я, Я добавить слова”, — говорит Ильяс. “Если это я, я вырезал слова”, — говорит Энгстром.
Энгстром присоединился к лаборатории Madry для проекта SuperUROP младшим; Ильяс зарегистрирован прошлой осенью в первый год работы аспиранта после окончания бакалавриата и Менг градусов раньше. Сталкивался с предложениями от других лучших выпускников школ, Ильяс решил остановиться в МТИ. Год спустя, Энгстром последовало.
Этой весной пара и снова в новостях, с новый взгляд на состязательность примеры: не как ошибки, а как характеристики соответствующих моделей слишком тонкий для человека понять, что вам еще пригодятся алгоритмы обучения. Мы инстинктивно знаем, что людей и машин, видеть мир по-другому, но на бумаге показали, что разница может быть выделен и измерен.
Они тренируются модели, чтобы выявить кошки на основе “надежных” имеет узнаваемый для человека, и “не надежные” функции, которые люди обычно не замечают, и обнаружили, что визуальные классификаторы смогли как раз как легко определить кошку от не надежные функции, как надежный. Если что, то модель показалась более полагаться на надежные функции, предполагая, что точность повышает, модели могут оказаться более чувствительными к состязательной примеры.
“Единственное, что делает эти функции состоит в том, что мы, как люди не чувствительны к ним,” Ильяс рассказал Wired.
Их Эврика опоздал на одну ночь в лаборатории Madry, как они часто делают, после многочасовых разговоров. “Разговор-это самый мощный инструмент для научного открытия,” Madry любит говорить. Команда быстро набросал эксперименты, чтобы проверить свою идею.
“Есть много красивых теорий, предложенных в глубокое обучение”, — говорит Madry. “Но ни одна гипотеза может быть принята, пока вы придумать способ проверки этого”.
“Это новое месторождение”, — добавляет он. “Мы не знаем ответы на вопросы, а я утверждаю, что мы даже не знаем правильные вопросы. Эндрю и Логан имеют блеск и желание помочь проложить путь”.
