Вторник, 27 февраля, 2024
ДомойТехнологииРеволюция глубокого обучения: усовершенствованный алгоритм для энергоэффективных нейронных сетей

Революция глубокого обучения: усовершенствованный алгоритм для энергоэффективных нейронных сетей

- Advertisement -

Исследователи EPFL разработали новаторский алгоритм, который эффективно обучает аналоговые нейронные сети, предлагая энергоэффективную альтернативу традиционным цифровым сетям. Этот метод, который более тесно связан с обучением человека, показал многообещающие результаты в волновых физических системах и направлен на снижение воздействия глубоких нейронных сетей на окружающую среду. (Концептуальное изображение DALL-E 3, созданное искусственным интеллектом, на котором изображены световые волны, проходящие через физическую систему.) Фото: © LWE/EPFL

Исследователи EPFL разработали алгоритм, позволяющий обучать аналоговую нейронную сеть так же точно, как и цифровую, что позволяет разрабатывать более эффективные альтернативы энергоемкому оборудованию глубокого обучения.

Учитывая их способность обрабатывать огромные объемы данных посредством алгоритмического «обучения», а не традиционного программирования, часто кажется, что потенциал глубоких нейронных сетей, таких как Chat-GPT, безграничен. Но по мере того, как масштабы и влияние этих систем росли, росли и их размер, сложность и энергопотребление – последнее из которых достаточно важно, чтобы вызвать обеспокоенность по поводу вклад в глобальные выбросы углерода.

И хотя мы часто думаем о технологическом прогрессе как о переходе от аналогового к цифровому, исследователи сейчас ищут ответы на эту проблему в физических альтернативах цифровым глубоким нейронным сетям. Одним из таких исследователей является Ромен Флёри из EPFL. Лаборатория волновой инженерии в Инженерной школе. В статье, опубликованной в журнале Наукаон и его коллеги описывают алгоритм обучения физических систем, который демонстрирует повышенную скорость, повышенную надежность и пониженное энергопотребление по сравнению с другими методами.

«Мы успешно протестировали наш алгоритм обучения на трех волновых физических системах, которые используют звуковые волны, световые волны и микроволны для передачи информации, а не электроны. Но наш универсальный подход можно использовать для обучения любой физической системы», — говорит первый автор и исследователь LWE Али Момени.

«Более биологически правдоподобный» подход

Обучение нейронной сети означает помощь системам в обучении генерированию оптимальных значений параметров для таких задач, как распознавание изображений или речи. Традиционно он включает в себя два этапа: прямой проход, при котором данные передаются через сеть, а на основе выходных данных вычисляется функция ошибки; и обратный проход (также известный как обратное распространение ошибки или BP), при котором рассчитывается градиент функции ошибок по отношению ко всем параметрам сети.

В ходе повторяющихся итераций система обновляется на основе этих двух вычислений, чтобы возвращать все более точные значения. Проблема? Помимо того, что BP очень энергозатратен, он плохо подходит для физических систем. Фактически, для обучения физических систем обычно требуется цифровой двойник на этапе BP, что неэффективно и несет в себе риск несоответствия реальности и моделирования.

Идея ученых заключалась в том, чтобы заменить этап BP вторым прямым проходом через физическую систему для локального обновления каждого сетевого уровня. Помимо снижения энергопотребления и устранения необходимости в цифровом двойнике, этот метод лучше отражает человеческое обучение.

«Структура нейронных сетей вдохновлена ​​мозгом, но маловероятно, что мозг обучается через BP», — объясняет Момени. «Идея здесь заключается в том, что если мы будем обучать каждый физический уровень локально, мы сможем использовать нашу реальную физическую систему вместо того, чтобы сначала строить ее цифровую модель. Поэтому мы разработали подход, который более биологически правдоподобен».

Исследователи EPFL совместно с Филиппом дель Угном из НЦРС ИЭТР и Бабак Рахмани из Microsoft Research использовали свой физический алгоритм локального обучения (PhyLL) для обучения экспериментальных акустических и микроволновых систем, а также смоделированную оптическую систему для классификации данных, таких как гласные звуки и изображения. А также показывать сопоставимые точность Для обучения на основе BP этот метод был надежным и адаптируемым – даже в системах, подверженных непредсказуемым внешним возмущениям – по сравнению с современным уровнем техники.

Аналоговое будущее?

Хотя подход LWE является первым обучением глубоких физических нейронных сетей без BP, некоторые цифровые обновления параметров все еще требуются. «Это гибридный подход к обучению, но наша цель — максимально сократить объем цифровых вычислений», — говорит Момени.

Теперь исследователи надеются реализовать свой алгоритм в небольшой оптической системе с конечной целью повышения масштабируемости сети.

«В наших экспериментах мы использовали нейронные сети, имеющие до 10 слоев, но будут ли они работать со 100 слоями с миллиардами параметров? Это следующий шаг, который потребует преодоления технических ограничений физических систем».

Ссылка: «Обучение глубоких физических нейронных сетей без обратного распространения ошибки», Али Момени, Бабак Рахмани, Матье Маллежак, Филипп дель Унь и Ромен Флери, 23 ноября 2023 г., Наука.
DOI: 10.1126/science.adi8474.

Исходная ссылка

- Advertisement -

Популярное по теме