The 13 reference contexts in paper A. Chernyshev S., A. Kozov V., А. Козов В., А. Чернышев С. (2016) “Исследование метода обучения с подкреплением спайковой нейронной сети // Studying a Reinforcement Learning Technique for the Spiking Neural Network” / spz:neicon:technomag:y:2016:i:6:p:174-183

  1. Start
    1292
    Prefix
    Большой интерес представляет такой класс нейронных сетей как спайковые, также называемые импульсными, нейронные сети. Спайковые нейросети – это одно из направлений исследования резервуарных вычислений в области рекуррентных сетей неустойчивых состояний (Liquid State Machine)
    Exact
    [1]
    Suffix
    . В основе таких сетей лежит представление взаимодействия между отдельными нейронами в виде спайков — сигналов одинаковой амплитуды и длительности. Передаваемая информация при этом закодирована посредством времени возникновения и частоты отдельных импульсов (спайков).
    (check this in PDF content)

  2. Start
    1732
    Prefix
    Передаваемая информация при этом закодирована посредством времени возникновения и частоты отдельных импульсов (спайков). Это отличает спайковые нейросети от классических искусственных нейронных сетей, в которых эта информация представлена некоторым действительным числом. В работе
    Exact
    [2]
    Suffix
    предложено условное разбиение нейронных сетей по принципу их работы на поколения, и спайковые нейросети выделены как отдельное, третье, поколение искусственных нейронных сетей. Отличия в принципе функционирования сетей третьего и предыдущих поколений требуют пересмотра, приспособления или разработки новых правил и методов работы с ними [3].
    (check this in PDF content)

  3. Start
    2079
    Prefix
    В работе [2] предложено условное разбиение нейронных сетей по принципу их работы на поколения, и спайковые нейросети выделены как отдельное, третье, поколение искусственных нейронных сетей. Отличия в принципе функционирования сетей третьего и предыдущих поколений требуют пересмотра, приспособления или разработки новых правил и методов работы с ними
    Exact
    [3]
    Suffix
    . В работе доктора Сеунга (Sebastian H. Seung) [4] предложен метод обучения с подкреплением, применимый для определенного типа связи между нейронами, названного гедонистическим синапсом. Такая связь представляет собой модель стохастического синапса, частично отражающего свойства своего биологического аналога.
    (check this in PDF content)

  4. Start
    2127
    Prefix
    Отличия в принципе функционирования сетей третьего и предыдущих поколений требуют пересмотра, приспособления или разработки новых правил и методов работы с ними [3]. В работе доктора Сеунга (Sebastian H. Seung)
    Exact
    [4]
    Suffix
    предложен метод обучения с подкреплением, применимый для определенного типа связи между нейронами, названного гедонистическим синапсом. Такая связь представляет собой модель стохастического синапса, частично отражающего свойства своего биологического аналога.
    (check this in PDF content)

  5. Start
    3293
    Prefix
    Предложенная модель является теоретической по своей сути и не претендует на серьезное нейробиологическое основание. Тем не менее, она отражает некоторые известные биологические феномены, например, такой как выработка оперантного условного рефлекса
    Exact
    [5]
    Suffix
    . Пусть ситуация, когда синапс передает возникающий в пресинаптической области импульс в постсинаптическую, будет называться проведением входного спайка синапсом. Модель гедонистического синапса устроена так, что синапс может провести входной импульс (в терминах нейробиологи – высвободить нейромедиаторы) с некоторой вероятностью s.
    (check this in PDF content)

  6. Start
    5781
    Prefix
    При включении системы награды и наказания в данную модель, где уровень награды задан переменной h(t), динамику изменения вероятностного веса синапса q(t) можно описать уравнением где η — малый коэффициент скорости обучения. След активности синапса e(t) играет роль градиента стратегии системы (policy gradient
    Exact
    [6]
    Suffix
    ). Изменение вероятностного веса в соответствии с данной политикой приведет к повышению правдоподобности модели и стабилизации ответа сети на стимул. При входном спайке переменная e возрастает на значение Δe: если спайк был успешно проведен («release»), тогда Δe = 1 – s, или же Δe = – s в случае неудачи («failure»).
    (check this in PDF content)

  7. Start
    8444
    Prefix
    Вторая оценка демонстрирует, насколько хорошо могут быть разделимы выходные сигналы сети. Графически эта оценка представляет собой набор диаграмм плотности распределения вероятности классификации примеров из текущей эпохи, а также построенная по этим данным кривая ошибок (ROC-кривая)
    Exact
    [7]
    Suffix
    . В качестве вероятности классификации pi за некоторое время использовано отношение числа импульсов ni, которые произвел соответствующий классу i нейрон, к числу всех импульсов нейронов выходного слоя за это время: Здесь N — число распознаваемых классов.
    (check this in PDF content)

  8. Start
    11218
    Prefix
    Он получен при соотнесении с каждым нейроном входного слоя некоторой интенсивности порождения спайков (рис. 2, б). В обучающем примере классы остаются неизменными, чередуясь друг с другом. Такой способ получения обучающих примеров приведен в работе
    Exact
    [8]
    Suffix
    . Для испытания обученной сети использованы дополнительные тестовые данные, полученные добавлением некоторого шума между исходными тестовыми классами. В каждой обучающей выборке задано по 50 примеров данных для каждого класса продолжительностью по 500 миллисекунд.
    (check this in PDF content)

  9. Start
    11984
    Prefix
    Итоговая оценка для нескольких последовательно проведенных эпох может быть рассчитана как среднее арифметическое оценок по эпохам. 4. Исследование метода обучения Для исследования обучаемости нейросети с гедонистическими синапсами была использована библиотека динамических нейронных сетей dnn
    Exact
    [9]
    Suffix
    . Была построена нейронная сеть из трех слоев нейронов: входного, скрытого и выходного. Модель нейронов – “Leaky integrate-and-fire” [1, 3]. Связи между слоями — стохастические возбуждающие, внутри скрытого слоя присутствуют также тормозные синапсы.
    (check this in PDF content)

  10. Start
    12119
    Prefix
    Исследование метода обучения Для исследования обучаемости нейросети с гедонистическими синапсами была использована библиотека динамических нейронных сетей dnn [9]. Была построена нейронная сеть из трех слоев нейронов: входного, скрытого и выходного. Модель нейронов – “Leaky integrate-and-fire”
    Exact
    [1, 3]
    Suffix
    . Связи между слоями — стохастические возбуждающие, внутри скрытого слоя присутствуют также тормозные синапсы. Генерация подкрепления в системе задана таким образом, что в случае, если спайк был произведен нейроном, номер которого совпадал с номером класса текущего примера, система получает положительное подкрепление («награда»), в противоположной ситуации — отрицательное («наказание»).
    (check this in PDF content)

  11. Start
    13093
    Prefix
    Среднее значение награды задано временной константой τm t и зависимостью В качестве величины уровня награды для гедонистического синапса использована разность между этими двумя значениями: h = r – rm, как это рекомендовано в оригинальной работе
    Exact
    [4]
    Suffix
    для уменьшения шума при обучении. Нейронная сеть имеет большое число параметров, от которых зависят скорость и качество обучения. Эти зависимости, а также оптимальные значения параметров могут быть определены эмпирическим путем (для предварительной оценки) и при помощи байесовского метода оптимизации, который позволяет находить экстремумы сложных функций.
    (check this in PDF content)

  12. Start
    14055
    Prefix
    связность сети (каждый нейрон с вероятностью 0,9 имеет возбуждающую связь с нейронами другого слоя) увеличивает время, необходимое для достижения заданного уровня оценки качества обучения, но при этом обеспечивает его воспроизводимость, позволяя с большей вероятностью получить одинаковую оценку за одинаковое время при нескольких симуляциях. Эффективность байесовской оптимизации
    Exact
    [10]
    Suffix
    обеспечена благодаря использованию предположений о характере и поведении функции для определения точек испытаний в области поиска. В основе метода лежит теорема Байеса, связывающая апостериорную и априорную вероятности события, наступившего при некотором условии.
    (check this in PDF content)

  13. Start
    16836
    Prefix
    Благодаря тому, что выходной слой имеет существенно меньший размер по сравнению с другими слоями, обеспечена высокая скорость обучения и устойчивость работы нейронной сети. Заключение Предложенный в работе
    Exact
    [4]
    Suffix
    метод обучения с подкреплением для спайковых нейронных сетей на основе модели гедонистического синапса показал свою работоспособность. Проведено исследование по определению параметров синапса, обеспечивающих высокие значения скорости, качества и устойчивости обучения таких сетей.
    (check this in PDF content)