The 10 reference contexts in paper Victor Kitov V., Виктор Китов Владимирович (2016) “ИССЛЕДОВАНИЕ ТОЧНОСТИ МЕТОДА ГРАДИЕНТНОГО БУСТИНГА СО СЛУЧАЙНЫМИ ПОВОРОТАМИ // ACCURACY ANALYSIS OF THE GRADIENT BOOSTING METHOD WITH RANDOM ROTATIONS” / spz:neicon:statecon:y:2016:i:4:p:22-26

  1. Start
    2417
    Prefix
    Существует множество прогнозирующих алгоритмов, накладывающих свои предположения о данных, таких как метод ближайших соседей, метод опорных векторов, линейная регрессия, логистическая регрессия, решающие деревья, нейросети и др. – см
    Exact
    [1]
    Suffix
    . Однако, поскольку прогнозируемые данные, скорее всего, имеют более сложные свойства, чем те предположения, которые делаются в рассматриваемых методах, то более выигрышной, с точки зрения точности, стратегией является прогнозирование не единственной моделью, а набором моделей, объединенных в композицию (другое название – ансамбль моделей), см. [2, 3].
    (check this in PDF content)

  2. Start
    2768
    Prefix
    Однако, поскольку прогнозируемые данные, скорее всего, имеют более сложные свойства, чем те предположения, которые делаются в рассматриваемых методах, то более выигрышной, с точки зрения точности, стратегией является прогнозирование не единственной моделью, а набором моделей, объединенных в композицию (другое название – ансамбль моделей), см.
    Exact
    [2, 3]
    Suffix
    . В этом случае к данным применяется сразу несколько прогнозирующих моделей, называемых базовыми моделями, а потом результат определяется в виде агрегирования полученных прогнозов – в простейшем случае, в виде линейной комбинации.
    (check this in PDF content)

  3. Start
    3110
    Prefix
    В этом случае к данным применяется сразу несколько прогнозирующих моделей, называемых базовыми моделями, а потом результат определяется в виде агрегирования полученных прогнозов – в простейшем случае, в виде линейной комбинации. Одним из наиболее популярных ансамблевых методов прогнозирования является градиентный бустинг. По данным
    Exact
    [4]
    Suffix
    , реализация xgBoost данного метода использовалась в большинстве прогнозирующих алгоритмов, победивших в соревнованиях по машинному обучению на сайте kaggle.com в 2015 году. Ключом к успешному применению ансамблевых методов прогнозирования является разнообразие (diversity) базовых моделей, на базе которых строится финальный прогноз.
    (check this in PDF content)

  4. Start
    3727
    Prefix
    Очевидно, что если усреднять по идентичным моделям, то выигрыша по сравнению с применением одной базовой модели не будет. И наоборот, чем разнообразнее базовые модели, тем потенциально больше у них возможностей исправлять ошибки друг друга и уточнять финальный прогноз. В работе
    Exact
    [5]
    Suffix
    предложена идея генерации случайных поворотов, которые потом применяются к признакам прогнозируемых объектов перед обучением базовых моделей, в качестве которых выступают решающие деревья. Высказана гипотеза, что за счет различных поворотов базовые алгоритмы становятся более разнообразными, что в результате повышает точность полученной композиции моделей.
    (check this in PDF content)

  5. Start
    5083
    Prefix
    В разделе 3 дается описание эксперимента по проверке точности метода на различных модельных данных, и обсуждаются результаты. В разделе 4 дается заключение и варианты дальнейших исследований. 2. Градиентный бустинг со случайными поворотами Для расширения класса функций, моделируемых ансамблями деревьев, в работе
    Exact
    [5]
    Suffix
    предложен подход, согласно которому перед каждой настройкой базового алгоритма в ансамбле делается случайный поворот признакового пространства. В алгоритме бустинга сначала настраивается базовая модель F1(x), затем настраивается F2(x) так, чтобы максимально исправить ошибки первой модели, затем F3(x) так, чтобы максимально исправить ошибки первых двух моделей и т.д.
    (check this in PDF content)

  6. Start
    6275
    Prefix
    Перед настройкой модели F1(x) производится случайный поворот x → R1(x), перед настройкой модели F2(x) производится случайный поворот x → R2(x) и т.д., см. схему метода на рис. 2. Поворот на шаге i осуществляется некоторой случайно сгенерированной матрицей поворота Ri, обзор методов генерирования таких матриц см. в
    Exact
    [6]
    Suffix
    . После настройки модели последовательность случайных поворотов R1, R2, ... Rm за поминается, и на этапах применения модели (прогнозирования) используется та же самая последовательность поворотов.
    (check this in PDF content)

  7. Start
    9626
    Prefix
    С одной стороны, это позволяет более гибко и более экономично (меньшим числом разбиений) описывать классы объектов, что может повысить точность прогнозирования. А с другой стороны, за счет большей гибкости, это может внести большую степень переобученности модели на обучающую выборку, что в итоге понизит качество прогнозирования новых данных – см.
    Exact
    [3]
    Suffix
    . Какой из данных факторов окажется более значимым, будет ясно из последующих экспериментов. 3. Эксперимент на модельных данных Изучим вопрос, как соотносится точность обычного градиентного бустинга и градиентного бустинга с поворотами на искусственно сгенерированных данных, про которые заранее известна зависимость между признаками и классами.
    (check this in PDF content)

  8. Start
    11776
    Prefix
    Каждый набор данных случайно делится на обучающую выборку (50% объектов), валидационную выборку (25% объектов) и контрольную выборку (25% объектов). Параметр shrinkage всегда полагался равным 0.1, сэмплирование объектов на каждом шаге бустинга не использовалось (см. эти параметры в
    Exact
    [1]
    Suffix
    ), параметр M ≤ 500 оптимального числа базовых моделей выбирался таким образом, чтобы обеспечить наивысшую точность метода на валидационном множестве. С подобранным параметром M для каждого метода оценивалась его точность на контрольной выборке.
    (check this in PDF content)

  9. Start
    17250
    Prefix
    .03.05.07.015.0сумма: N 200.0450–2–16 500.010641–219 1000.06750018 2000.01383–1–122 3000.0121120–421 сумма:453714–2–886 ведет к усложнению поверхности – ее становится сложнее аппроксимировать, и выше риск переобучения, что и отражается в снижении относительной точности бустинга с поворотами. 4. Заключение Применение случайных поворотов в композициях прогнозирующих моделей было предложено в
    Exact
    [5]
    Suffix
    и является разумным подходом для повышения разнообразия базовых моделей и улучшения точности их объединения. Но в [5] не было изучено применение данного подхода к алгоритму бустинга. В данной работе было изучено влияние случайных поворотов на точность бустинга для широкого класса модельных данных.
    (check this in PDF content)

  10. Start
    17368
    Prefix
    Заключение Применение случайных поворотов в композициях прогнозирующих моделей было предложено в [5] и является разумным подходом для повышения разнообразия базовых моделей и улучшения точности их объединения. Но в
    Exact
    [5]
    Suffix
    не было изучено применение данного подхода к алгоритму бустинга. В данной работе было изучено влияние случайных поворотов на точность бустинга для широкого класса модельных данных. Было обнаружено, что преимущество предложенного подхода тем выше, чем больше размер обучающей выборки, меньше размерность признаков и меньше уровень зашумленности данных.
    (check this in PDF content)