Реферат на тему Нейроморфные вычисления и технологии, как прикладной инструмент теории игр

Содержание:

Введение. 3

1.Что такое
нейроморфные вычисления?. 4

2.Преимущества,
недостатки и особенности нейроморфных вычислений и технологий  9

3.Проблемы
нейроморфных вычислений. 14

Заключение. 16

Список
литературы.. 18

Введение:

Вдохновленные мозгом,
алгоритмы искусственных нейронных сетей добились огромного прогресса в области
искусственного интеллекта. Однако, чтобы получить значительный выигрыш с точки
зрения новых реальных возможностей, производительности и эффективности, необходимо
предпринять более амбициозный шаг: разработать новую технологию, имитирующую
нейронные вычисления непосредственно на аппаратном уровне.

Для обучения
искусственных нейронных сетей обучению выполнению задач распознавания образов
на графических процессорах обычно требуются сотни ватт. Для моделирования даже
очень маленьких частей мозга животных на суперкомпьютерах требуются десятки
мегаватт . Для сравнения: человеческий мозг потребляет всего 20 Вт для
выполнения сложных задач восприятия и познания. Нейроморфные технологии
стремятся имитировать схемы нейронной обработки, преодолевая этот большой
пробел в энергоэффективности.

Хотя в биологических
системах нейронной обработки каждый нейрон обычно дает всплески несколько раз в
секунду, массивный параллелизм их множества нейронов и синапсов позволяет им
выполнять на много порядков больше операций в секунду, чем искусственные
нейронные сети, моделируемые на обычных компьютерах. Достижение высоких уровней
параллелизма (порядка тысяч и выше) в компактных и энергоэффективных аппаратных
платформах потребует радикальных изменений в компьютерных архитектурах и
электронных устройствах.

В обычных компьютерных
архитектурах большая часть энергопотребления и задержек связана с передачей
информации между физически разделенной памятью и вычислительными частями. В
алгоритмах нейронных сетей эта проблема («узкое место фон Неймана») является
критической, потому что необходимо хранить огромное количество параметров и
часто решать их. Нейроморфные технологии нацелены на объединение памяти и
вычислений, как в мозге, где вычисления (нейроны) и память (синапсы и топология
сети) полностью взаимосвязаны.

В этой реферативной
работе представлен всесторонний обзор нейроморфных вычислений и технологий, как
прикладной инструмент теории игр с целью демистификации и облегчения их
понимания.

Заключение:

Нейроморфные вычисления
возникли как попытка использовать аналоговые схемы для имитации синаптических
структур, обнаруженных в мозге. Мозг превосходно выделяет закономерности из
шума и обучения. Нейроморфный процессор отлично справляется с обработкой
дискретных, четких данных.

По этой причине многие
считают, что нейроморфные вычисления могут открывать приложения и решать
крупномасштабные проблемы, которые десятилетиями ставили в тупик обычные
вычислительные системы. Одна большая проблема заключается в том, что процессоры
на основе архитектуры фон Неймана должны ждать, пока данные поступят в
системную память и из нее. Структуры кэша помогают смягчить часть этой
задержки, но узкое место в данных становится все более заметным по мере того,
как микросхемы становятся быстрее. С другой стороны, нейроморфные процессоры
призваны обеспечить гораздо более энергоэффективную работу за счет моделирования
основных функций мозга.

Нейроны отправляют друг
другу информационные импульсы в виде импульсных последовательностей, называемых
пиками . Время появления этих всплесков имеет решающее значение, но не их
амплитуда. Само время передает информацию. В цифровом виде всплеск может быть
представлен в виде одного бита, что может быть намного более эффективным и
менее энергоемким, чем традиционные методы передачи данных. Понимание и
моделирование этого всплеска нейронной активности возникло в 1950-х годах, но
аппаратные приложения для вычислений не начали развиваться еще пять
десятилетий.

Сегодня большая часть
нейроморфных вычислений выполняется за счет обработки систем глубокого обучения
на процессорах, графических процессорах и FPGA. Однако ни один из них не
оптимизирован для нейроморфной обработки. Такие микросхемы, как Intel Loihi,
были разработаны с нуля именно для этих задач. Вот почему, как показал ABR,
Loihi может достичь тех же результатов на гораздо меньшем энергетическом
профиле. Эта эффективность окажется критически важной в грядущем поколении
небольших устройств, требующих возможностей искусственного интеллекта.

Одной из следующих задач
в нейроморфном пространстве будет определение стандартных рабочих нагрузок и
методологий для сравнительного анализа.

Нейроморфные вычисления
остаются глубоко в стадии исследований и разработок. Сегодня в этой сфере
практически нет коммерческих предложений. Тем не менее, становится ясно, что
некоторые приложения хорошо подходят для нейроморфных вычислений.

Нейроморфные процессоры
будут намного быстрее и более энергоэффективными для этих рабочих нагрузок, чем
любые современные традиционные альтернативы. Вычисления CPU и GPU не исчезают;
нейроморфные вычисления просто встанут рядом с ними, чтобы справляться с ролями
лучше, быстрее и эффективнее, чем все, что мы видели раньше.

Фрагмент текста работы:

1.Что такое
нейроморфные вычисления? Как следует из названия,
нейроморфные вычисления используют модель, вдохновленную работой мозга.

Мозг представляет собой
действительно привлекательную модель для вычислений: в отличие от большинства
суперкомпьютеров, которые заполняют комнаты, мозг компактен и легко помещается
во что-то размером, ну … в вашу голову.

Мозгу также нужно гораздо
меньше энергии, чем большинству суперкомпьютеров: ваш мозг потребляет около 20
Вт, тогда как
суперкомпьютеру Fugaku требуется 28 мегаватт — или,
другими словами, мозгу требуется около 0,00007% источника питания
Fugaku. В то время как суперкомпьютерам нужны сложные системы охлаждения,
мозг находится в костлявом корпусе, который поддерживает температуру 37 ° C.

Конечно, суперкомпьютеры
производят конкретные вычисления с большой скоростью, но мозг выигрывает
благодаря способности к адаптации. Он может писать стихи, мгновенно
выбирать знакомое лицо из толпы, водить машину, изучать новый язык, принимать
хорошие и плохие решения и многое другое. А с традиционными моделями
вычислительной борьбы использование техник, используемых нашим мозгом, может
стать ключом к гораздо более мощным компьютерам в будущем [4].

Большая часть
оборудования сегодня основана на архитектуре фон Неймана, которая разделяет
память и вычисления. Поскольку микросхемы фон Неймана должны передавать
информацию между памятью и ЦП, они тратят время (вычисления сдерживаются
скоростью шины между вычислением и памятью) и энергию — проблема, известная как
узкое место фон Неймана.

Запихивая больше
транзисторов в эти процессоры фон Неймана, производители микросхем долгое время
могли увеличивать вычислительную мощность микросхемы, следуя закону
Мура. Но проблемы с усадкой транзисторов в дальнейшем, их потребности в энергии
и выделяемое ими тепло означают, что без изменения основных принципов
микросхемы это не продлится долго.

Со временем архитектуры
фон Неймана будут все труднее и труднее обеспечивать увеличение вычислительной
мощности, в котором мы нуждаемся.

Чтобы не отставать,
потребуется новый тип архитектуры, отличной от фон Неймана: нейроморфная
архитектура. Квантовые вычисления и нейроморфные системы были заявлены в
качестве решения, и это нейроморфные вычисления, вдохновленные мозгом
вычисления, которые, вероятно, будут коммерциализированы раньше.

Помимо потенциального
преодоления узкого места фон Неймана, нейроморфный компьютер может направить
работу мозга на решение других проблем. В то время как системы фон Неймана
в основном последовательны, мозг использует массовые параллельные
вычисления. Мозг также более отказоустойчив, чем компьютеры — оба
преимущества исследователи надеются смоделировать в нейроморфных системах.

Во-первых, чтобы понять
нейроморфную технологию, имеет смысл быстро взглянуть на то, как работает
мозг.

Сообщения передаются в
мозг и из него через нейроны, тип нервных клеток. Если вы наступите на булавку,
болевые рецепторы на коже стопы улавливают повреждение и запускают нечто,
известное как потенциал действия — по сути, сигнал для активации — в нейроне,
связанном со стопой. Потенциал действия заставляет нейрон выделять химические
вещества через промежуток, называемый синапсом, который происходит во многих
нейронах, пока сообщение не достигнет мозга. Затем ваш мозг регистрирует боль,
и в этот момент от нейрона к нейрону отправляются сообщения, пока сигнал не
достигнет мышц ног, и вы не начнете двигать ногой.

Потенциал действия может
быть вызван либо множеством входов одновременно (пространственный), либо
входом, который накапливается с течением времени (временным). Эти методы,
а также огромная взаимосвязь синапсов — один синапс может быть подключен к 10
000 других — означают, что мозг может передавать информацию быстро и эффективно
[2].

Нейроморфные вычисления
моделируют работу мозга с помощью нейронных сетей. Обычные вычисления основаны
на транзисторах, которые включены или выключены, единица или ноль. Нейронные
сети с пиками могут передавать информацию тем же временным и пространственным
образом, что и мозг, и, таким образом, производить более одного из двух
выходных данных. Нейроморфные системы могут быть как цифровыми, так и
аналоговыми, при этом роль синапсов играет либо программное обеспечение,
либо мемристоры .

Мемристоры также могут
пригодиться при моделировании еще одного полезного элемента мозга: способности
синапсов хранить информацию, а также передавать ее. Мемристоры могут
хранить диапазон значений, а не только традиционные единицы и ноль, что
позволяет имитировать способ изменения силы связи между двумя
синапсами. Изменение этих весов в искусственных синапсах в нейроморфных
вычислениях — один из способов позволить системам, основанным на мозге,
обучаться.

Наряду с мемристическими
технологиями, включая память с фазовым переходом, резистивную RAM, магнитную
RAM с передачей спина и RAM с проводящим мостом, исследователи также ищут
другие новые способы моделирования синапсов мозга, такие как использование
квантовых точек и графена.

Для решения сложных задач
пограничные устройства, такие как смартфоны, в настоящее время должны
передавать обработку облачной системе, которая обрабатывает запрос и отправляет
ответ обратно на устройство. С нейроморфными системами этот запрос не
нужно было бы пересылать туда и обратно, он мог бы выполняться внутри самого
устройства. Но, возможно, самой
большой движущей силой инвестиций в нейроморфные вычисления является обещание,
которое они возлагают на ИИ.

ИИ нынешнего поколения,
как правило, в значительной степени основан на правилах, обучен на наборах
данных, пока не научится генерировать конкретный результат. Но
человеческий мозг работает не так: нашему серому веществу гораздо удобнее двусмысленность
и гибкость.

Есть надежда, что
следующее поколение искусственного интеллекта сможет справиться с еще
несколькими проблемами мозга, включая удовлетворение ограничений, когда система
должна найти оптимальное решение проблемы с большим количеством ограничений.

Нейроморфные системы
также могут помочь в разработке более совершенных ИИ, поскольку им удобнее
решать другие типы проблем, такие как вероятностные вычисления, когда системы
должны справляться с зашумленными и неопределенными данными. Есть и другие,
такие как причинность и нелинейное мышление, которые относительно незрелы в
нейроморфных вычислительных системах, но, как только они станут более
развитыми, они могут значительно расширить возможности использования ИИ.

Ученые, стартапы и
некоторые известные технические специалисты уже создают и используют
нейроморфные системы.

У Intel есть нейроморфный
чип под названием Loihi ,
и 64 из них были использованы для создания системы синапсов из 8 миллионов под
названием Pohoiki Beach, содержащей 8 миллионов нейронов (ожидается, что в
ближайшем будущем количество нейронов достигнет 100 миллионов). В настоящее время
чипы Loihi используются исследователями, в том числе в мастерской по разработке
нейроморфных когнитивных технологий Telluride, где они используются для
создания искусственной кожи и разработки протезов конечностей с электроприводом
[8].

У IBM также есть
собственная нейроморфная система TrueNorth, запущенная в 2014 году и в последний раз
использовавшаяся с 64 миллионами нейронов и 16 миллиардами синапсов. В то время
как IBM относительно тихо относилась к развитию TrueNorth, недавно она объявила
о партнерстве с Исследовательской лабораторией ВВС США для создания
«нейроморфного суперкомпьютера», известного как Blue Raven . В то время
как лаборатория все еще изучает возможности использования этой технологии,
одним из вариантов может быть создание более умных, легких и менее энергоемких
дронов.

Нейроморфные вычисления
начались в исследовательской лаборатории (Carver Mead’s в Cal-tech), а
некоторые из самых известных до сих пор находятся в академических
учреждениях. Финансируемый ЕС проект Human Brain Project (HBP), рассчитанный на 10 лет и
реализуемый с 2013 года, был направлен на углубление понимания мозга в шести
областях исследований, включая нейроморфные вычисления.

HBP привел к двум крупным
нейроморфным инициативам: SpiNNaker и BrainScaleS. В 2018 году была запущена система SpiNNaker с миллионами
ядер , крупнейший нейроморфный суперкомпьютер в то время, и университет
надеется в конечном итоге масштабировать ее для моделирования одного миллиона
нейронов. BrainScaleS преследует те же цели, что и SpiNNaker, и теперь его
архитектура представляет собой второе поколение BrainScaleS-2 .

Переход от фон Неймана к
нейроморфным вычислениям не пройдет без серьезных проблем.

Вычислительные нормы —
например, как данные кодируются и обрабатываются — все выросли вокруг модели
фон Неймана, и поэтому их необходимо будет переработать для мира, где
нейроморфные вычисления более распространены. Один из примеров касается
визуального ввода: обычные системы понимают их как серию отдельных кадров, в то
время как нейроморфный процессор кодирует такую ​​информацию как изменения в
поле зрения с течением времени.

Языки программирования
тоже нужно будет переписать с нуля. Есть проблемы со стороны оборудования:
необходимо будет создать новое поколение технологий памяти, хранилищ и
датчиков, чтобы в полной мере использовать преимущества нейроморфных устройств. Нейроморфная технология
может даже нуждаться в фундаментальном изменении способа разработки аппаратного
и программного обеспечения из-за интеграции между различными элементами
нейроморфного оборудования, таких как интеграция между памятью и обработкой [4].

Одним из побочных
эффектов растущей динамики нейроморфных вычислений, вероятно, станет улучшение
нейробиологии: когда исследователи начнут пытаться воссоздать наше серое
вещество в электронике, они могут больше узнать о внутренней работе мозга, что
поможет биологам больше узнать о мозге.

Точно так же, чем больше
мы узнаем о человеческом мозге, тем больше возможностей откроется перед
исследователями нейроморфных вычислений. Например, глиальные клетки —
опорные клетки мозга — не имеют большого значения в большинстве нейроморфных
конструкций, но по мере того, как появляется все больше информации о том, как
эти клетки участвуют в обработке информации, компьютерные ученые начинают изучать , следует ли им это делать. в нейроморфных конструкциях
тоже.

Один из наиболее
интересных вопросов, касающихся все более сложной работы по моделированию
человеческого мозга в кремнии, заключается в том, могут ли исследователи в
конечном итоге воссоздать — или создать — сознание в машинах.