Исследователи Массачусетского технологического института разработали новую “фотонных” чип, который использует свет вместо электричества и потребляет сравнительно мало энергии в процессе. Чип может быть использован для обработки больших нейронных сетях миллионы раз более эффективно, чем современные классические компьютеры.
Нейронные сети-это модели машинного обучения, которые широко используются для таких задач, как выявление робототехнического объекта, обработка естественного языка, разработки лекарственных средств, медицинской визуализации и питания водителя машины. Роман оптико-нейронных сетей, которые используют оптические явления для ускорения вычислений, может работать гораздо быстрее и эффективнее, чем их электрические аналоги.
Но как традиционных, так и оптические нейронные сети становятся все более сложными, они съедают тонны энергии. Чтобы решить эту проблему, исследователи и крупных технологических компаний, включая Google, IBM и Тесла — разработали “Ай ускорителей,” специализированные микросхемы, что повышает скорость и эффективность обучения и тестирования нейронных сетей.
Для электрических чипов, включая большинство ускорителей ИИ, есть теоретическая минимальный лимит на потребление электроэнергии. Недавно исследователи Массачусетского технологического института приступили к разработке фотонных ускорителей для оптических нейронных сетей. Эти микросхемы выполняют порядков более эффективно, но они полагаются на какой-нибудь крупногабаритный оптических элементов, которые ограничивают их использование в относительно небольших нейронных сетей.
В статье, опубликованной в натуральном комментарий х, исследователи Массачусетского технологического института описывают новый фотонный ускоритель, который использует более компактные оптические компоненты и оптические сигнал-технологий, чтобы радикально снизить энергопотребление и площадь кристалла. Что позволяет чип в масштабе нейронных сетей на несколько порядков больше, чем его аналоги.
Имитация обучения нейронных сетей на имидж-классификация данных MNIST предлагаю ускоритель теоретически может обрабатывать нейронных сетей более чем в 10 миллионов раз ниже потребление энергии традиционные электрические ускорители на базе и примерно в 1000 раз ниже предела фотонных ускорителей. Исследователи сейчас работают над чип-прототип, чтобы экспериментально доказать результаты.
“Люди ищут технологию, которая может вычислить за фундаментальные ограничения энергопотребления”, — говорит Райан Hamerly, постдок в научно-исследовательской лаборатории электроники. “Фотонные ускорители обещают … но наша мотивация, чтобы построить [фотонный ускоритель], которая может масштабироваться до больших нейронных сетей.”
Практическое применение для таких технологий включают в себя сокращение потребления энергии в центрах обработки данных. “Существует растущий спрос на центры обработки данных для работы больших нейронных сетей, и она становится все более вычислительно неразрешимой, так как спрос растет”, — говорит соавтор Александр Sludds, аспиранта в научно-исследовательской лаборатории электроники. Цель состоит в том, “чтобы удовлетворить вычислительные потребности с нейросетевой оборудования … решить проблему узкого места потребления энергии и задержки”.
Присоединение Sludds и Hamerly на листе бумаги: со-автор Лиана Бернштейн, дивиденды аспирант; Марин мерин солясис, в Массачусетском технологическом институте профессор физики; и Дирк Энглунд, МИТ профессор электротехники и компьютерных наук, исследователь в РЛЭ, и главы квантовой фотоники Лаборатория.
Компактный дизайн
Нейронных сетей обработки данных на основе многих расчетных слоев, содержащих взаимосвязанных узлов, называемых “нейронами”, чтобы найти закономерности в данных. Нейроны получают вход от вышерасположенных соседей и вычислить выходной сигнал, который направляется к нейронам ниже по течению. Каждый вход также присваивается “вес”, значение на основе ее относительной важности для всех других входов. Как распространять данные “глубже” через слои, сеть узнает все более сложную информацию. В конце концов, выходной слой генерирует прогнозирование на основе расчетов по всему слоев.
Все ускорители ИИ направлены на снижение энергии, необходимой для обработки и перемещения данных в течение определенного линейная алгебра шагом в нейронных сетях, называется “Матрица умножения”. Там, нейронов и весов кодируются в отдельные таблицы из строк и столбцов, а затем объединяются, чтобы вычислить результаты.
В традиционной фотонных ускорителях, импульсных лазерах закодированную информацию о каждый нейрон в слое в волноводах и через светоделители. Полученные оптические сигналы подаются на сетку оптических компонентов квадрат, называемый “Маха-Цендера”, которые запрограммированы для выполнения умножения матриц. В интерферометрах, которые кодируются с информацией о каждом вес, использовать сигнал-помехи методов обработки оптических сигналов и весовых значений для вычисления выходного сигнала для каждого нейрона. Но есть проблема масштабирования: для каждого нейрона должен быть один волновода и, для каждого веса, должен быть один интерферометр. Потому что количество весов квадратов с числом нейронов, эти интерферометры занимают много недвижимости.
“Вы быстро поймете, количество входных нейронов не может быть больше 100 или около того, потому что вы не можете соответствовать, что многие компоненты в чип” Hamerly говорит. “Если ваш фотонный ускоритель не может обработать более 100 нейронов в слое, то это делает его трудным для реализации больших нейронных сетей в архитектуре”.
Чип исследователей опирается на более компактные, энергоэффективные “электронно-оптический” схема, которая кодирует данные с оптических сигналов, но использует “сбалансированный обнаружения гомодинный” для умножения матриц. Это техника, которая производит измеримый электрический сигнал после вычисления произведения амплитуды (высоты волн) двух оптических сигналов.
Световые импульсы, закодированные с информацией о входных и выходных нейронов для каждого слоя нейронной сети, которые необходимы для обучения сети — поток через один канал. Отдельных импульсов, закодированных с информацией целые ряды весов в матрице умножения потока через отдельные каналы. Оптических сигналов, несущих нейрона и масса вентилятора данных в сеть фотоприемников гомодинный. Фотоприемники использовать амплитуду сигналов, чтобы вычислить выходное значение каждого нейрона. Каждый датчик подает электрический сигнал для каждого нейрона в модулятор, который преобразует сигнал обратно в световой импульс. Что оптический сигнал становится входной для следующего слоя, и так далее.
Конструкция требует только один канал на вход и выход нейрона, и только столько гомодинный фотоприемников, как есть нейроны, не утяжеляет. Потому что всегда гораздо меньше нейронов, чем вес, это экономит значительное пространство, так что чип способен масштабировать до нейронных сетей с более чем миллиона нейронов в слое.
Найти сладкое пятно
С фотонными ускорителями, есть неизбежный шум в сигнале. Чем больше света, который поступает в чип, тем меньше шума и большей точности — но это добирается, чтобы быть довольно неэффективным. Меньше входного излучения повышает эффективность, но и негативно влияют на производительность нейронной сети. Но есть “сладкое пятно”, — говорит Бернстайн, который использует минимальное оптической мощности при сохранении точности.
Это сладкое место для AI ускорителей измеряется в том, сколько джоулей, необходимое для выполнения одной операции умножения двух чисел — например, во время умножения матриц. Сейчас, традиционных ускорителей измеряется в picojoules, или одну триллионную джоуля. Измерения фотонных ускорителей в attojoules, что в миллион раз эффективнее.
В симуляции, исследователи обнаружили их фотонный ускоритель мог работать с суб-аттоджоуль эффективности. “Есть какая-то минимальная оптическая мощность можно послать, прежде чем потерять точность. Фундаментальное ограничение нашего чип намного ниже, чем традиционных ускорителей … и ниже, чем в других фотонных ускорителей,” Бернштейн говорит.
