The 10 references with contexts in paper A. Chernyshev S., A. Kozov V., А. Козов В., А. Чернышев С. (2016) “Исследование метода обучения с подкреплением спайковой нейронной сети // Studying a Reinforcement Learning Technique for the Spiking Neural Network” / spz:neicon:technomag:y:2016:i:6:p:174-183

1
LukošEvičIus M., Jaeger H. Reservoir computing approaches to recurrent neural network training // Computer Science Review. 2009. Vol. 3. No. 3. Pp. 127-149. DOI: 10.1016/j.cosrev.2009.03.005
Total in-text references: 2
  1. In-text reference with the coordinate start=1292
    Prefix
    Большой интерес представляет такой класс нейронных сетей как спайковые, также называемые импульсными, нейронные сети. Спайковые нейросети – это одно из направлений исследования резервуарных вычислений в области рекуррентных сетей неустойчивых состояний (Liquid State Machine)
    Exact
    [1]
    Suffix
    . В основе таких сетей лежит представление взаимодействия между отдельными нейронами в виде спайков — сигналов одинаковой амплитуды и длительности. Передаваемая информация при этом закодирована посредством времени возникновения и частоты отдельных импульсов (спайков).

  2. In-text reference with the coordinate start=12119
    Prefix
    Исследование метода обучения Для исследования обучаемости нейросети с гедонистическими синапсами была использована библиотека динамических нейронных сетей dnn [9]. Была построена нейронная сеть из трех слоев нейронов: входного, скрытого и выходного. Модель нейронов – “Leaky integrate-and-fire”
    Exact
    [1, 3]
    Suffix
    . Связи между слоями — стохастические возбуждающие, внутри скрытого слоя присутствуют также тормозные синапсы. Генерация подкрепления в системе задана таким образом, что в случае, если спайк был произведен нейроном, номер которого совпадал с номером класса текущего примера, система получает положительное подкрепление («награда»), в противоположной ситуации — отрицательное («наказание»).

2
Maass W. Networks of spiking neurons: The third generation of neural network models // Neural Networks. 1997. Vol. 10. No. 9. Pp. 1659-1671. DOI: 10.1016/S0893-6080(97)00011-7
Total in-text references: 1
  1. In-text reference with the coordinate start=1732
    Prefix
    Передаваемая информация при этом закодирована посредством времени возникновения и частоты отдельных импульсов (спайков). Это отличает спайковые нейросети от классических искусственных нейронных сетей, в которых эта информация представлена некоторым действительным числом. В работе
    Exact
    [2]
    Suffix
    предложено условное разбиение нейронных сетей по принципу их работы на поколения, и спайковые нейросети выделены как отдельное, третье, поколение искусственных нейронных сетей. Отличия в принципе функционирования сетей третьего и предыдущих поколений требуют пересмотра, приспособления или разработки новых правил и методов работы с ними [3].

3
Paugam-Moisy H., Bohte. S.M. Computing with Spiking Neuron Networks // Handbook of Natural Computing. Springer. 2009. pp 335-376. DOI: 10.1007/978-3-540-92910-9_10
Total in-text references: 2
  1. In-text reference with the coordinate start=2079
    Prefix
    В работе [2] предложено условное разбиение нейронных сетей по принципу их работы на поколения, и спайковые нейросети выделены как отдельное, третье, поколение искусственных нейронных сетей. Отличия в принципе функционирования сетей третьего и предыдущих поколений требуют пересмотра, приспособления или разработки новых правил и методов работы с ними
    Exact
    [3]
    Suffix
    . В работе доктора Сеунга (Sebastian H. Seung) [4] предложен метод обучения с подкреплением, применимый для определенного типа связи между нейронами, названного гедонистическим синапсом. Такая связь представляет собой модель стохастического синапса, частично отражающего свойства своего биологического аналога.

  2. In-text reference with the coordinate start=12119
    Prefix
    Исследование метода обучения Для исследования обучаемости нейросети с гедонистическими синапсами была использована библиотека динамических нейронных сетей dnn [9]. Была построена нейронная сеть из трех слоев нейронов: входного, скрытого и выходного. Модель нейронов – “Leaky integrate-and-fire”
    Exact
    [1, 3]
    Suffix
    . Связи между слоями — стохастические возбуждающие, внутри скрытого слоя присутствуют также тормозные синапсы. Генерация подкрепления в системе задана таким образом, что в случае, если спайк был произведен нейроном, номер которого совпадал с номером класса текущего примера, система получает положительное подкрепление («награда»), в противоположной ситуации — отрицательное («наказание»).

4
Seung H. S. Learning in Spiking Neural Networks by Reinforcement of Stochastic Synaptic Transmission // Neuron. 2003. Vol. 40. No. 6. Pp. 1063–1073. DOI: 10.1016/S0896-6273(03)00761-X
Total in-text references: 3
  1. In-text reference with the coordinate start=2127
    Prefix
    Отличия в принципе функционирования сетей третьего и предыдущих поколений требуют пересмотра, приспособления или разработки новых правил и методов работы с ними [3]. В работе доктора Сеунга (Sebastian H. Seung)
    Exact
    [4]
    Suffix
    предложен метод обучения с подкреплением, применимый для определенного типа связи между нейронами, названного гедонистическим синапсом. Такая связь представляет собой модель стохастического синапса, частично отражающего свойства своего биологического аналога.

  2. In-text reference with the coordinate start=13093
    Prefix
    Среднее значение награды задано временной константой τm t и зависимостью В качестве величины уровня награды для гедонистического синапса использована разность между этими двумя значениями: h = r – rm, как это рекомендовано в оригинальной работе
    Exact
    [4]
    Suffix
    для уменьшения шума при обучении. Нейронная сеть имеет большое число параметров, от которых зависят скорость и качество обучения. Эти зависимости, а также оптимальные значения параметров могут быть определены эмпирическим путем (для предварительной оценки) и при помощи байесовского метода оптимизации, который позволяет находить экстремумы сложных функций.

  3. In-text reference with the coordinate start=16836
    Prefix
    Благодаря тому, что выходной слой имеет существенно меньший размер по сравнению с другими слоями, обеспечена высокая скорость обучения и устойчивость работы нейронной сети. Заключение Предложенный в работе
    Exact
    [4]
    Suffix
    метод обучения с подкреплением для спайковых нейронных сетей на основе модели гедонистического синапса показал свою работоспособность. Проведено исследование по определению параметров синапса, обеспечивающих высокие значения скорости, качества и устойчивости обучения таких сетей.

5
Skinner, B.F. "The Behavior of Organisms: An Experimental Analysis". New York: AppletonCentury-Crofts. 1938
Total in-text references: 1
  1. In-text reference with the coordinate start=3293
    Prefix
    Предложенная модель является теоретической по своей сути и не претендует на серьезное нейробиологическое основание. Тем не менее, она отражает некоторые известные биологические феномены, например, такой как выработка оперантного условного рефлекса
    Exact
    [5]
    Suffix
    . Пусть ситуация, когда синапс передает возникающий в пресинаптической области импульс в постсинаптическую, будет называться проведением входного спайка синапсом. Модель гедонистического синапса устроена так, что синапс может провести входной импульс (в терминах нейробиологи – высвободить нейромедиаторы) с некоторой вероятностью s.

6
Peters J., Bagnell J.A. Policy Gradient Methods // Encyclopedia of Machine Learning. Springer US. 2011. Pp. 774-776
Total in-text references: 1
  1. In-text reference with the coordinate start=5781
    Prefix
    При включении системы награды и наказания в данную модель, где уровень награды задан переменной h(t), динамику изменения вероятностного веса синапса q(t) можно описать уравнением где η — малый коэффициент скорости обучения. След активности синапса e(t) играет роль градиента стратегии системы (policy gradient
    Exact
    [6]
    Suffix
    ). Изменение вероятностного веса в соответствии с данной политикой приведет к повышению правдоподобности модели и стабилизации ответа сети на стимул. При входном спайке переменная e возрастает на значение Δe: если спайк был успешно проведен («release»), тогда Δe = 1 – s, или же Δe = – s в случае неудачи («failure»).

7
Bradley A.P. The Use of the Area Under the ROC Curve in the Evaluation of Machine Learning Algorithms // Pattern Recognition. 1997. Vol. 30. No 7. Pp. 1145–1159. DOI: 10.1007/978-0-387-30164-8_640
Total in-text references: 1
  1. In-text reference with the coordinate start=8444
    Prefix
    Вторая оценка демонстрирует, насколько хорошо могут быть разделимы выходные сигналы сети. Графически эта оценка представляет собой набор диаграмм плотности распределения вероятности классификации примеров из текущей эпохи, а также построенная по этим данным кривая ошибок (ROC-кривая)
    Exact
    [7]
    Suffix
    . В качестве вероятности классификации pi за некоторое время использовано отношение числа импульсов ni, которые произвел соответствующий классу i нейрон, к числу всех импульсов нейронов выходного слоя за это время: Здесь N — число распознаваемых классов.

8
Kappel D., Nessler B., Maass W. STDP Installs in Winner-Take-All Circuits an Online Approximation to Hidden Markov Model Learning // PLoS Comput. Biol. 2014. Vol. 10. No 3. DOI: 10.1371/journal.pcbi.1003511
Total in-text references: 1
  1. In-text reference with the coordinate start=11218
    Prefix
    Он получен при соотнесении с каждым нейроном входного слоя некоторой интенсивности порождения спайков (рис. 2, б). В обучающем примере классы остаются неизменными, чередуясь друг с другом. Такой способ получения обучающих примеров приведен в работе
    Exact
    [8]
    Suffix
    . Для испытания обученной сети использованы дополнительные тестовые данные, полученные добавлением некоторого шума между исходными тестовыми классами. В каждой обучающей выборке задано по 50 примеров данных для каждого класса продолжительностью по 500 миллисекунд.

9
Library of Dynamic Neural Networks // https://github.com : веб-сайт. Режим доступа: https://github.com/alexeyche/dnn (дата обращения 01.05.2016).
Total in-text references: 1
  1. In-text reference with the coordinate start=11984
    Prefix
    Итоговая оценка для нескольких последовательно проведенных эпох может быть рассчитана как среднее арифметическое оценок по эпохам. 4. Исследование метода обучения Для исследования обучаемости нейросети с гедонистическими синапсами была использована библиотека динамических нейронных сетей dnn
    Exact
    [9]
    Suffix
    . Была построена нейронная сеть из трех слоев нейронов: входного, скрытого и выходного. Модель нейронов – “Leaky integrate-and-fire” [1, 3]. Связи между слоями — стохастические возбуждающие, внутри скрытого слоя присутствуют также тормозные синапсы.

10
Brochu E., Cora V.M., De Freitas N. A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning. CoRR abs. 2010
Total in-text references: 1
  1. In-text reference with the coordinate start=14055
    Prefix
    связность сети (каждый нейрон с вероятностью 0,9 имеет возбуждающую связь с нейронами другого слоя) увеличивает время, необходимое для достижения заданного уровня оценки качества обучения, но при этом обеспечивает его воспроизводимость, позволяя с большей вероятностью получить одинаковую оценку за одинаковое время при нескольких симуляциях. Эффективность байесовской оптимизации
    Exact
    [10]
    Suffix
    обеспечена благодаря использованию предположений о характере и поведении функции для определения точек испытаний в области поиска. В основе метода лежит теорема Байеса, связывающая апостериорную и априорную вероятности события, наступившего при некотором условии.