The 64 reference contexts in paper A. Sukhobokov A., D. Lakhvich S., А. Сухобоков А., Д. Лахвич С. (2016) “Влияние инструментария Big Data на развитие научных дисциплин, связанных с моделированием // The Big Data Tools Impact on Development of Simulation-Concerned Academic Disciplines” / spz:neicon:technomag:y:2015:i:3:p:207-240

  1. Start
    1846
    Prefix
    Понятие Big Data В соответствии с современными представлениями Big Data представляет собой данные большого объёма, для которых характерны пять V – пять характеристик, начинающиеся на V: Volume - объём, Variety - разнообразие, Velocity – скорость, Veracity – достоверность и Value – ценность
    Exact
    [1]
    Suffix
    . Volume – объём. Объём данных считается большим, когда возникают затруднения при обработке этого объёма средствами традиционных СУБД. При возникновении концепции Big Data таким объёмом считался 1 PB (1*1015байт).
    (check this in PDF content)

  2. Start
    4859
    Prefix
    Задачи Big Data Приведём типичные области, в которых возникают данные, которые можно охарактеризовать как Big Data, и необходимо применять соответствующие инструменты:  Финансовые услуги. Ожидается, что к 2020 году число ежедневных транзакций электронной коммерции и финансовых операций физических лиц увеличится до 450*109
    Exact
    [2]
    Suffix
    . С учетом объёмов данных каждой транзакции и сроков их хранения для архивирования таких финансовых данных предпочтительно использовать инструменты Big Data. Помимо организации хранения больших объёмов данных они позволяют проводить сегментацию пользователей, подключать данные пользователей из социальных сетей и на основе выявленных корреляций формировать для пользов
    (check this in PDF content)

  3. Start
    5431
    Prefix
    хранения больших объёмов данных они позволяют проводить сегментацию пользователей, подключать данные пользователей из социальных сетей и на основе выявленных корреляций формировать для пользователей индивидуальные предложения, лучше учитывающие их потребности. Кроме того, применение инструментов Big Data позволяет выявлять мошенников и предотвращать потери
    Exact
    [3]
    Suffix
    .  Производственные процессы в промышленности. Данные поступают с сенсоров и используются для управления технологическими процессами, контроля объёма и качества выпускаемой продукции. Например, в компании Chevron с нефтяных скважин в сутки поступает 3000 PB данных [4].
    (check this in PDF content)

  4. Start
    5746
    Prefix
    Данные поступают с сенсоров и используются для управления технологическими процессами, контроля объёма и качества выпускаемой продукции. Например, в компании Chevron с нефтяных скважин в сутки поступает 3000 PB данных
    Exact
    [4]
    Suffix
    . Это в три раза больше, чем за сутки генерирует весь интернет. Использование этих данных позволило дополнительно ежегодно получать 15 млрд. долларов прибыли.  Здравоохранение. The Institute for Health Technology Transformation показал, что человеческое тело представляет собой неиссякаемый источник больших данных [5].
    (check this in PDF content)

  5. Start
    6063
    Prefix
    Использование этих данных позволило дополнительно ежегодно получать 15 млрд. долларов прибыли.  Здравоохранение. The Institute for Health Technology Transformation показал, что человеческое тело представляет собой неиссякаемый источник больших данных
    Exact
    [5]
    Suffix
    . Объём архивов изображений в медицине ежегодно возрастает на 20-40%: ‒ объём данных одного снимка трёхмерной рентгеновской компьютерной томографии (3D CT Scan) составляет примерно 1GB; ‒ объём данных одного снимка трёхмерной магнитно-резонансной компьютерной томографии (3D MRI) составляет примерно 150MB; ‒ объём данных одного рентгеновского снимка составляет примерно 30MB; ‒
    (check this in PDF content)

  6. Start
    6785
    Prefix
    Также наблюдается отчётливая тенденция быстрого роста числа носимых (wearable) устройств, которые находятся на теле пациентов и снимают информацию в реальном времени. Ожидается, что к 2018 году в мире будет использоваться 500 миллионов таких устройств
    Exact
    [4]
    Suffix
    .  Эксплуатация и обслуживание сложного оборудования. Например, внутренние системы одного современного самолёта ежедневно порождают 1 ТВ данных [2]. Основное назначение собираемых данных – контроль состояния оборудования, планирование технического обслуживания и ремонтов для поддержания необходимого уровня его надёжности.
    (check this in PDF content)

  7. Start
    6931
    Prefix
    Ожидается, что к 2018 году в мире будет использоваться 500 миллионов таких устройств [4].  Эксплуатация и обслуживание сложного оборудования. Например, внутренние системы одного современного самолёта ежедневно порождают 1 ТВ данных
    Exact
    [2]
    Suffix
    . Основное назначение собираемых данных – контроль состояния оборудования, планирование технического обслуживания и ремонтов для поддержания необходимого уровня его надёжности.  Сельское хозяйство.
    (check this in PDF content)

  8. Start
    7836
    Prefix
    , в реальном времени передающих информацию об уровне влажности, освещённости, температуре, наличии питательных веществ в почве и пр. позволит управлять процессами выращивания урожая. Ожидается, что сочетание высокоэффективных сортов, оптимальной ирригации, правильной дозировки пестицидов, гербицидов и удобрений позволит к 2050 году повысить урожайность зерновых до 250%
    Exact
    [6]
    Suffix
    . Объёмы данных, которые придётся при этом собирать и обрабатывать, характерны для Big Data.  Сложные логистические процессы. Данные о размещении каждой упаковки товара на складах, данные об отгрузках и поступлении товаров имеют объёмы, измеряемые терабайтами, и в большинстве случаев могут быть обработаны SCMсистемами, которые релевантны масштабам цепочки поставок.
    (check this in PDF content)

  9. Start
    8709
    Prefix
    сетях крупных компаний, военных и правительственных организаций возникла после перехода к современным технологиям, реализующим сбор и обработку данных с меток RFID, установленных на каждой транспортной упаковке, а также сбор, хранение и обработка данных геолокации о каждом транспортном средстве.  Информационные технологии. Более 10 миллиардов новых сообщений Facebook
    Exact
    [7]
    Suffix
    и 500 миллионов новых твитов [8] появляется ежедневно. С ещё большей скоростью появляются новые записи в журналах соответствующих баз данных. Ещё один пример: Yahoo использует хранилище данных на базе Hadoop объёмом 255 PB, которое используется для поддержки более семисот миллионов пользователей [9].
    (check this in PDF content)

  10. Start
    8745
    Prefix
    и правительственных организаций возникла после перехода к современным технологиям, реализующим сбор и обработку данных с меток RFID, установленных на каждой транспортной упаковке, а также сбор, хранение и обработка данных геолокации о каждом транспортном средстве.  Информационные технологии. Более 10 миллиардов новых сообщений Facebook [7] и 500 миллионов новых твитов
    Exact
    [8]
    Suffix
    появляется ежедневно. С ещё большей скоростью появляются новые записи в журналах соответствующих баз данных. Ещё один пример: Yahoo использует хранилище данных на базе Hadoop объёмом 255 PB, которое используется для поддержки более семисот миллионов пользователей [9].
    (check this in PDF content)

  11. Start
    9030
    Prefix
    С ещё большей скоростью появляются новые записи в журналах соответствующих баз данных. Ещё один пример: Yahoo использует хранилище данных на базе Hadoop объёмом 255 PB, которое используется для поддержки более семисот миллионов пользователей
    Exact
    [9]
    Suffix
    .  Розничная торговля. Обработка всей совокупности данных об истории продаж, объёмах запасов, ценах, а также других дополнительных данных, например, о постоянных клиентах, имеющих дисконтные карты, о конкурентах и т.д. позволяет понять факторы, влияющие на объёмы продаж, сформировать конкурентные цены и проводить эффективные маркетинговые компании [10].
    (check this in PDF content)

  12. Start
    9390
    Prefix
    Обработка всей совокупности данных об истории продаж, объёмах запасов, ценах, а также других дополнительных данных, например, о постоянных клиентах, имеющих дисконтные карты, о конкурентах и т.д. позволяет понять факторы, влияющие на объёмы продаж, сформировать конкурентные цены и проводить эффективные маркетинговые компании
    Exact
    [10]
    Suffix
    .  Телекоммуникации. В мире уже произведено больше мобильных телефонов, чем имеется людей на земле. 5 миллиардов мобильных телефонов находится в пользовании [2]. Накопление данных об оказанных клиентам услугах (звонках, SMS, передаче информации), а также последующая аналитическая обработка этих данных позволяет идентифицировать поведение пользователей и более точно о
    (check this in PDF content)

  13. Start
    9559
    Prefix
    данных, например, о постоянных клиентах, имеющих дисконтные карты, о конкурентах и т.д. позволяет понять факторы, влияющие на объёмы продаж, сформировать конкурентные цены и проводить эффективные маркетинговые компании [10].  Телекоммуникации. В мире уже произведено больше мобильных телефонов, чем имеется людей на земле. 5 миллиардов мобильных телефонов находится в пользовании
    Exact
    [2]
    Suffix
    . Накопление данных об оказанных клиентам услугах (звонках, SMS, передаче информации), а также последующая аналитическая обработка этих данных позволяет идентифицировать поведение пользователей и более точно определять их потребности.
    (check this in PDF content)

  14. Start
    9978
    Prefix
    об оказанных клиентам услугах (звонках, SMS, передаче информации), а также последующая аналитическая обработка этих данных позволяет идентифицировать поведение пользователей и более точно определять их потребности. На основе этого можно оптимизировать инфраструктуру и сокращать затраты на развитие сети, с меньшими затратами и более полно удовлетворять потребности клиентов
    Exact
    [11]
    Suffix
    . В случае требований гос. органов протоколировать и хранить определенное время все голосовые разговоры, SMS и трафик, телекоммуникационные компании не смогут решить эти задачи без применения инструментов Big Data.
    (check this in PDF content)

  15. Start
    10770
    Prefix
    Использование «умных» счётчиков, позволяющих регулярно регистрировать и передавать данные по сети, в сочетании с последующей обработкой собираемых данных позволяет улучшить качество обслуживания. В сервисный центр сразу поступают данные об отсутствии подачи электроэнергии, воды и т.п.
    Exact
    [6]
    Suffix
    . Кроме того, расширение объёма передаваемых данных, например добавление сведений о поддерживаемой температуре, позволяет сэкономить 10% потребляемых ресурсов за счёт отказа от поставки излишнего тепла.
    (check this in PDF content)

  16. Start
    11201
    Prefix
    Применение гибких тарифов позволяет влиять на поведение клиентов и сгладить пиковые нагрузки. Обработка накопленных данных за период позволяет учесть потребности клиентов и оптимизировать инфраструктуру
    Exact
    [6]
    Suffix
    .  Муниципальное управление. Сбор и обработка данных об автомобильном трафике и загруженности магистралей позволяют гражданам оптимизировать маршруты перемещения, экономя время и автомобильное топливо.
    (check this in PDF content)

  17. Start
    11982
    Prefix
    Это позволяет водителям узнавать с помощью мобильного телефона наличие свободных мест на парковках и сокращает время поиска свободного места. Такой глобальный сервис уже имеется, и область его действия распространяется на 45 городов мира.
    Exact
    [6]
    Suffix
    .  Образование. Применение инструментов Big Data позволяет сформировать и поддерживать индивидуальную модель для каждого обучаемого, в которой будут отражены его индивидуальные характеристики и предпочтения, сведения об уже изученных темах и предметах, отзывы и рекомендации, данные преподавателями и менторами.
    (check this in PDF content)

  18. Start
    12598
    Prefix
    Соответствующий сервис может быть одновременно использован миллионами пользователей в режиме online обучения, но в тоже время предусматривать возможность расширения моделей обучаемых за счёт сведений поступающих из различных учреждений offline обучения (университетов, колледжей, курсов)
    Exact
    [12]
    Suffix
    , [13]. Обобщая возможные применения инструментов Big Data, перечислим типичные задачи, решаемые с их помощью:  Аналитика по клиентам / объектам;  Операционная и поведенческая аналитика;  Построение хранилищ данных, экономически эффективных с точки зрения затрат на единицу объёма хранимых данных;  Борьба с мошенничеством и контроль соблюдения норм. 3.
    (check this in PDF content)

  19. Start
    12604
    Prefix
    Соответствующий сервис может быть одновременно использован миллионами пользователей в режиме online обучения, но в тоже время предусматривать возможность расширения моделей обучаемых за счёт сведений поступающих из различных учреждений offline обучения (университетов, колледжей, курсов) [12],
    Exact
    [13]
    Suffix
    . Обобщая возможные применения инструментов Big Data, перечислим типичные задачи, решаемые с их помощью:  Аналитика по клиентам / объектам;  Операционная и поведенческая аналитика;  Построение хранилищ данных, экономически эффективных с точки зрения затрат на единицу объёма хранимых данных;  Борьба с мошенничеством и контроль соблюдения норм. 3.
    (check this in PDF content)

  20. Start
    13109
    Prefix
    / объектам;  Операционная и поведенческая аналитика;  Построение хранилищ данных, экономически эффективных с точки зрения затрат на единицу объёма хранимых данных;  Борьба с мошенничеством и контроль соблюдения норм. 3. Инструменты Big Data 3.1. Hadoop За исходную точку, с которой началось развитие инструментов Big Data, можно принять создание Hadoop в начале 2000-х годов
    Exact
    [14]
    Suffix
    . Хотя и до этого были работы по созданию распределённых файловых систем, именно в Hadoop распределённая файловая система HDFS (Hadoop Distributed File System) была объединена с фреймворком MapReduce.
    (check this in PDF content)

  21. Start
    15719
    Prefix
    Надёжность работы обеспечивается повторным выполнением задач. В случае если какая-то из задач не выполнилась из-сбоя и не выдала результат, она повторно запускается на другом узле. В 2013 году появилась версия Hadoop 2.0
    Exact
    [15]
    Suffix
    . Два самых важных нововведения, которые были реализованы в этой версии:  В составе Hadoop появился модуль YARN, отвечающий за управление ресурсами кластера и планирование заданий. MapReduce реализован поверх YARN, как один из вариантов обработки данных.
    (check this in PDF content)

  22. Start
    18894
    Prefix
    LegionFS, Google File System, Federated Array of Bricks (FAB), pNFS, Lustre, Panasas file system, zFS, Sorrento, Kybos, Ceph, Intel's Distributed Application Object Storage (DAOS), RADOS, Sirocco, Ursa Minor, SOS – этот список взят из разделов, посвящённых обзору близких работ всего двух публикаций, посвящённых созданию распределённых файловых систем
    Exact
    [16]
    Suffix
    , [17]. В начале 2000-х годов распределённые файловые системы стали рассматриваться как основной инструментарий для хранения данных объёмом несколько петабайтов. Перечисленные выше системы разрабатывались как университетскими командами и стартапами, так и гигантами отрасли такими как Intel и IBM.
    (check this in PDF content)

  23. Start
    18901
    Prefix
    , Google File System, Federated Array of Bricks (FAB), pNFS, Lustre, Panasas file system, zFS, Sorrento, Kybos, Ceph, Intel's Distributed Application Object Storage (DAOS), RADOS, Sirocco, Ursa Minor, SOS – этот список взят из разделов, посвящённых обзору близких работ всего двух публикаций, посвящённых созданию распределённых файловых систем [16],
    Exact
    [17]
    Suffix
    . В начале 2000-х годов распределённые файловые системы стали рассматриваться как основной инструментарий для хранения данных объёмом несколько петабайтов. Перечисленные выше системы разрабатывались как университетскими командами и стартапами, так и гигантами отрасли такими как Intel и IBM.
    (check this in PDF content)

  24. Start
    19647
    Prefix
    как одни из них представляют собой пилотные проекты, разработанные для иллюстрации некоторых новых концепций, другие уже являются зрелыми продуктами, прошедшими проверку и доводку во многих внедрениях. С ростом зрелости рынка в последние годы появились публикации, в которых приводятся результаты сравнительного тестирования нескольких распределённых файловых систем
    Exact
    [18]
    Suffix
    , [19], а также рассматриваются варианты замены HDFS в составе Hadoop [20]. 3.3.Экосистема Hadoop Широкий спектр задач, решаемых Hadoop, привёл к созданию большого числа дополнительных программных продуктов, которые органично расширяют возможности первоначальной системы.
    (check this in PDF content)

  25. Start
    19653
    Prefix
    одни из них представляют собой пилотные проекты, разработанные для иллюстрации некоторых новых концепций, другие уже являются зрелыми продуктами, прошедшими проверку и доводку во многих внедрениях. С ростом зрелости рынка в последние годы появились публикации, в которых приводятся результаты сравнительного тестирования нескольких распределённых файловых систем [18],
    Exact
    [19]
    Suffix
    , а также рассматриваются варианты замены HDFS в составе Hadoop [20]. 3.3.Экосистема Hadoop Широкий спектр задач, решаемых Hadoop, привёл к созданию большого числа дополнительных программных продуктов, которые органично расширяют возможности первоначальной системы.
    (check this in PDF content)

  26. Start
    19719
    Prefix
    С ростом зрелости рынка в последние годы появились публикации, в которых приводятся результаты сравнительного тестирования нескольких распределённых файловых систем [18], [19], а также рассматриваются варианты замены HDFS в составе Hadoop
    Exact
    [20]
    Suffix
    . 3.3.Экосистема Hadoop Широкий спектр задач, решаемых Hadoop, привёл к созданию большого числа дополнительных программных продуктов, которые органично расширяют возможности первоначальной системы.
    (check this in PDF content)

  27. Start
    20524
    Prefix
    Число продуктов, входящих в экосистему, составляет несколько сотен. Существуют разные схемы классификации этих продуктов, различающиеся как по составу классов продуктов, так и по составу классифицируемых продуктов
    Exact
    [21]
    Suffix
    , [22], [23]. Ниже предлагается классификация входящих в экосистему продуктов, в которой сделана попытка закрыть белые пятна, присутствующие в каждом из перечисленных источников. В таблице 1 перечислены все выделенные классы, указывается назначение каждого класса, а также представлены примеры программных продуктов, отнесённых к этому классу.
    (check this in PDF content)

  28. Start
    20533
    Prefix
    Число продуктов, входящих в экосистему, составляет несколько сотен. Существуют разные схемы классификации этих продуктов, различающиеся как по составу классов продуктов, так и по составу классифицируемых продуктов [21],
    Exact
    [22]
    Suffix
    , [23]. Ниже предлагается классификация входящих в экосистему продуктов, в которой сделана попытка закрыть белые пятна, присутствующие в каждом из перечисленных источников. В таблице 1 перечислены все выделенные классы, указывается назначение каждого класса, а также представлены примеры программных продуктов, отнесённых к этому классу.
    (check this in PDF content)

  29. Start
    20542
    Prefix
    Число продуктов, входящих в экосистему, составляет несколько сотен. Существуют разные схемы классификации этих продуктов, различающиеся как по составу классов продуктов, так и по составу классифицируемых продуктов [21], [22],
    Exact
    [23]
    Suffix
    . Ниже предлагается классификация входящих в экосистему продуктов, в которой сделана попытка закрыть белые пятна, присутствующие в каждом из перечисленных источников. В таблице 1 перечислены все выделенные классы, указывается назначение каждого класса, а также представлены примеры программных продуктов, отнесённых к этому классу.
    (check this in PDF content)

  30. Start
    26158
    Prefix
    Многообразие представленных на рынке решений отображает колоссальные темпы развития данной экосистемы, а также всей совокупности решений, связанных с обработкой Больших данных. 3.4.Платформа IBM Bluemix Компания IBM объединила все свои технологические решения по работе с Большими данными в составе платформы IBM Bluemix
    Exact
    [24]
    Suffix
    . Платформа является инструментом для разработки веб- и мобильных приложений для работы с Big Data. Обеспечивается работа с данными в Hadoop, в SQL и NoSQL базах данных IBM, а также в базах данных других производителей, ориентированных на работу с большими данными, такими как MongoLab, ElephantSQL, Redis Сloud и др.
    (check this in PDF content)

  31. Start
    27696
    Prefix
    ИТ, обеспечения защиты от мошенничества, обработки данных персонала;  отраслевые для различных отраслей: медицины, страхования и т.д. 3.5.Платформа SAP HANA В 2011 году компания SAP вывела на рынок In-Memory платформу SAP HANA. В составе платформы объединены объектно-графическое, построчное и постолбцовое хранилища данных, а также несколько серверов приложений и их окружение
    Exact
    [25]
    Suffix
    , [26], в том числе:  сервер выполнения SQL-запросов;  планировщик и оптимизатор вычислений;  сервер обработки текстовых данных;  сервер работы с графами;  сервер предиктивной аналитики;  средства сжатия данных;  серверные компоненты (среда исполнения) для языков программирования;  библиотеки встроенных бизнес-функций и т.д.
    (check this in PDF content)

  32. Start
    27702
    Prefix
    ИТ, обеспечения защиты от мошенничества, обработки данных персонала;  отраслевые для различных отраслей: медицины, страхования и т.д. 3.5.Платформа SAP HANA В 2011 году компания SAP вывела на рынок In-Memory платформу SAP HANA. В составе платформы объединены объектно-графическое, построчное и постолбцовое хранилища данных, а также несколько серверов приложений и их окружение [25],
    Exact
    [26]
    Suffix
    , в том числе:  сервер выполнения SQL-запросов;  планировщик и оптимизатор вычислений;  сервер обработки текстовых данных;  сервер работы с графами;  сервер предиктивной аналитики;  средства сжатия данных;  серверные компоненты (среда исполнения) для языков программирования;  библиотеки встроенных бизнес-функций и т.д.
    (check this in PDF content)

  33. Start
    29351
    Prefix
    Максимальные аппаратные конфигурации кластеров, которые используются для работы SAP HANA, на момент написания статьи насчитывали более 100 серверов, содержащих до 8 процессоров и до 12 TB оперативной памяти
    Exact
    [27]
    Suffix
    , [28]. Каждый процессор может содержать до 15 ядер. В результате, суммарно, максимальные конфигурации SAP HANA могут иметь более 12 000 процессорных ядер и более 1,2 PB оперативной памяти.
    (check this in PDF content)

  34. Start
    29358
    Prefix
    Максимальные аппаратные конфигурации кластеров, которые используются для работы SAP HANA, на момент написания статьи насчитывали более 100 серверов, содержащих до 8 процессоров и до 12 TB оперативной памяти [27],
    Exact
    [28]
    Suffix
    . Каждый процессор может содержать до 15 ядер. В результате, суммарно, максимальные конфигурации SAP HANA могут иметь более 12 000 процессорных ядер и более 1,2 PB оперативной памяти. В связи с высокой стоимостью таких конфигураций на практике в подавляющем большинстве случаев применяются существенно менее мощные аппаратные комплексы.
    (check this in PDF content)

  35. Start
    30585
    Prefix
    Использование инструментов Big Data в интернет-компаниях Центральное звено хранения и обработки данных во всех крупных интернет компаниях реализуется с помощью инструментов Big Data. Потребности этих компаний, собственно, и были первой причиной создания этих инструментов. Так HDFS разрабатывалась как открытая альтернатива проприетарной GFS (Google File System)
    Exact
    [14]
    Suffix
    , [29]. Детальная архитектура созданных и используемых корпоративных систем, различающаяся из-за разнообразия решаемых задач, редко обсуждается в полном объёме, тем не менее, в блогах иногда представлены обобщённые схемы или обсуждаются отдельные технические подробности.
    (check this in PDF content)

  36. Start
    30591
    Prefix
    Использование инструментов Big Data в интернет-компаниях Центральное звено хранения и обработки данных во всех крупных интернет компаниях реализуется с помощью инструментов Big Data. Потребности этих компаний, собственно, и были первой причиной создания этих инструментов. Так HDFS разрабатывалась как открытая альтернатива проприетарной GFS (Google File System) [14],
    Exact
    [29]
    Suffix
    . Детальная архитектура созданных и используемых корпоративных систем, различающаяся из-за разнообразия решаемых задач, редко обсуждается в полном объёме, тем не менее, в блогах иногда представлены обобщённые схемы или обсуждаются отдельные технические подробности.
    (check this in PDF content)

  37. Start
    30889
    Prefix
    Детальная архитектура созданных и используемых корпоративных систем, различающаяся из-за разнообразия решаемых задач, редко обсуждается в полном объёме, тем не менее, в блогах иногда представлены обобщённые схемы или обсуждаются отдельные технические подробности. Так в
    Exact
    [30]
    Suffix
    и [31] показаны два различающихся варианта общей архитектура корпоративной системы Facebook по состоянию на 2012 г. Вариант из [30] приведен на рис.1. Рис. 1. Корпоративная архитектура, реализованная в Facebook В отличие от Facebook для Yahoo не опубликована общая архитектура корпоративной системы за исключением эскиза [32], который представлен на рис.2, но зато опубликован
    (check this in PDF content)

  38. Start
    30898
    Prefix
    Детальная архитектура созданных и используемых корпоративных систем, различающаяся из-за разнообразия решаемых задач, редко обсуждается в полном объёме, тем не менее, в блогах иногда представлены обобщённые схемы или обсуждаются отдельные технические подробности. Так в [30] и
    Exact
    [31]
    Suffix
    показаны два различающихся варианта общей архитектура корпоративной системы Facebook по состоянию на 2012 г. Вариант из [30] приведен на рис.1. Рис. 1. Корпоративная архитектура, реализованная в Facebook В отличие от Facebook для Yahoo не опубликована общая архитектура корпоративной системы за исключением эскиза [32], который представлен на рис.2, но зато опубликован ряд блого
    (check this in PDF content)

  39. Start
    31025
    Prefix
    используемых корпоративных систем, различающаяся из-за разнообразия решаемых задач, редко обсуждается в полном объёме, тем не менее, в блогах иногда представлены обобщённые схемы или обсуждаются отдельные технические подробности. Так в [30] и [31] показаны два различающихся варианта общей архитектура корпоративной системы Facebook по состоянию на 2012 г. Вариант из
    Exact
    [30]
    Suffix
    приведен на рис.1. Рис. 1. Корпоративная архитектура, реализованная в Facebook В отличие от Facebook для Yahoo не опубликована общая архитектура корпоративной системы за исключением эскиза [32], который представлен на рис.2, но зато опубликован ряд блогов и интервью [9], [33], [34], [35], из которых можно понять, что в корпоративной системе используются такие продукты как Apache
    (check this in PDF content)

  40. Start
    31219
    Prefix
    Вариант из [30] приведен на рис.1. Рис. 1. Корпоративная архитектура, реализованная в Facebook В отличие от Facebook для Yahoo не опубликована общая архитектура корпоративной системы за исключением эскиза
    Exact
    [32]
    Suffix
    , который представлен на рис.2, но зато опубликован ряд блогов и интервью [9], [33], [34], [35], из которых можно понять, что в корпоративной системе используются такие продукты как Apache Hadoop, Apache Pig, Apache Oozie, Apache HBase, Apache Hive, HCatalog (сервер метаданных Hive), Apache Storm, YARN, Apache Falcon, Apache Spark, Apache Tez, Apache ZooKeeper, Tableau, MicroStrategy.
    (check this in PDF content)

  41. Start
    31342
    Prefix
    Корпоративная архитектура, реализованная в Facebook В отличие от Facebook для Yahoo не опубликована общая архитектура корпоративной системы за исключением эскиза [32], который представлен на рис.2, но зато опубликован ряд блогов и интервью
    Exact
    [9]
    Suffix
    , [33], [34], [35], из которых можно понять, что в корпоративной системе используются такие продукты как Apache Hadoop, Apache Pig, Apache Oozie, Apache HBase, Apache Hive, HCatalog (сервер метаданных Hive), Apache Storm, YARN, Apache Falcon, Apache Spark, Apache Tez, Apache ZooKeeper, Tableau, MicroStrategy.
    (check this in PDF content)

  42. Start
    31347
    Prefix
    Корпоративная архитектура, реализованная в Facebook В отличие от Facebook для Yahoo не опубликована общая архитектура корпоративной системы за исключением эскиза [32], который представлен на рис.2, но зато опубликован ряд блогов и интервью [9],
    Exact
    [33]
    Suffix
    , [34], [35], из которых можно понять, что в корпоративной системе используются такие продукты как Apache Hadoop, Apache Pig, Apache Oozie, Apache HBase, Apache Hive, HCatalog (сервер метаданных Hive), Apache Storm, YARN, Apache Falcon, Apache Spark, Apache Tez, Apache ZooKeeper, Tableau, MicroStrategy.
    (check this in PDF content)

  43. Start
    31353
    Prefix
    Корпоративная архитектура, реализованная в Facebook В отличие от Facebook для Yahoo не опубликована общая архитектура корпоративной системы за исключением эскиза [32], который представлен на рис.2, но зато опубликован ряд блогов и интервью [9], [33],
    Exact
    [34]
    Suffix
    , [35], из которых можно понять, что в корпоративной системе используются такие продукты как Apache Hadoop, Apache Pig, Apache Oozie, Apache HBase, Apache Hive, HCatalog (сервер метаданных Hive), Apache Storm, YARN, Apache Falcon, Apache Spark, Apache Tez, Apache ZooKeeper, Tableau, MicroStrategy.
    (check this in PDF content)

  44. Start
    31359
    Prefix
    Корпоративная архитектура, реализованная в Facebook В отличие от Facebook для Yahoo не опубликована общая архитектура корпоративной системы за исключением эскиза [32], который представлен на рис.2, но зато опубликован ряд блогов и интервью [9], [33], [34],
    Exact
    [35]
    Suffix
    , из которых можно понять, что в корпоративной системе используются такие продукты как Apache Hadoop, Apache Pig, Apache Oozie, Apache HBase, Apache Hive, HCatalog (сервер метаданных Hive), Apache Storm, YARN, Apache Falcon, Apache Spark, Apache Tez, Apache ZooKeeper, Tableau, MicroStrategy.
    (check this in PDF content)

  45. Start
    32368
    Prefix
    Поверх Hadoop используется SQL-подобная СУБД Hive и ряд дополнительных инструментов Big Data, среди которых можно выделить средства управления мастер-данными и средства бизнес-аналитики. Такие же тенденции можно увидеть в корпоративной архитектуре крупных российских интернет-компаний. Подтверждением этого является описание опыта работы с Hadoop в Mail.Ru
    Exact
    [36]
    Suffix
    . 4.2.Подход и рекомендуемая архитектура SAP для использования инструментов Big Data в составе корпоративных системных ландшафтов При проектировании корпоративных системных ландшафтов архитекторы компании SAP, лидирующей на мировом рынке корпоративных приложений, считают целесообразным рассматривать возможность применения Hadoop при следующих условиях [37], [22]:  необходимо
    (check this in PDF content)

  46. Start
    32739
    Prefix
    с Hadoop в Mail.Ru [36]. 4.2.Подход и рекомендуемая архитектура SAP для использования инструментов Big Data в составе корпоративных системных ландшафтов При проектировании корпоративных системных ландшафтов архитекторы компании SAP, лидирующей на мировом рынке корпоративных приложений, считают целесообразным рассматривать возможность применения Hadoop при следующих условиях
    Exact
    [37]
    Suffix
    , [22]:  необходимо обрабатывать данные объёмом в петабайты или даже в перспективе экзабайты, в любом случае их объём намного больше 100 ТВ и превосходит возможности традиционных реляционных СУБД и SAP HANA;  не требуется быстрого получения результатов или обработки данных в реальном времени;  не предъявляется стандартных для транзакционной обработки данных требований обязатель
    (check this in PDF content)

  47. Start
    32745
    Prefix
    в Mail.Ru [36]. 4.2.Подход и рекомендуемая архитектура SAP для использования инструментов Big Data в составе корпоративных системных ландшафтов При проектировании корпоративных системных ландшафтов архитекторы компании SAP, лидирующей на мировом рынке корпоративных приложений, считают целесообразным рассматривать возможность применения Hadoop при следующих условиях [37],
    Exact
    [22]
    Suffix
    :  необходимо обрабатывать данные объёмом в петабайты или даже в перспективе экзабайты, в любом случае их объём намного больше 100 ТВ и превосходит возможности традиционных реляционных СУБД и SAP HANA;  не требуется быстрого получения результатов или обработки данных в реальном времени;  не предъявляется стандартных для транзакционной обработки данных требований обязательного в
    (check this in PDF content)

  48. Start
    33590
    Prefix
    Применение Hadoop в указанных случаях значительно увеличит сроки обработки данных, она будет занимать часы или даже дни, однако удельные затраты на единицу объёма данных (MB, GB) значительно сократятся. Все случаи, когда целесообразно применять Hadoop, были классифицированы, и для каждого из них компания SAP предложила шаблон типовой архитектуры
    Exact
    [37]
    Suffix
    , [38]. Перечень разработанных шаблонов:  Использование Hadoop в масштабах предприятия;  Hadoop как гибкое хранилище данных;  Hadoop как простая база данных;  Hadoop как средство обработки данных;  Hadoop для аналитики данных (простая аналитика);  Hadoop для аналитики данных (двухфазная аналитика);  Hadoop для аналитики данных (федеративные запросы / виртуализация данных).
    (check this in PDF content)

  49. Start
    33597
    Prefix
    Применение Hadoop в указанных случаях значительно увеличит сроки обработки данных, она будет занимать часы или даже дни, однако удельные затраты на единицу объёма данных (MB, GB) значительно сократятся. Все случаи, когда целесообразно применять Hadoop, были классифицированы, и для каждого из них компания SAP предложила шаблон типовой архитектуры [37],
    Exact
    [38]
    Suffix
    . Перечень разработанных шаблонов:  Использование Hadoop в масштабах предприятия;  Hadoop как гибкое хранилище данных;  Hadoop как простая база данных;  Hadoop как средство обработки данных;  Hadoop для аналитики данных (простая аналитика);  Hadoop для аналитики данных (двухфазная аналитика);  Hadoop для аналитики данных (федеративные запросы / виртуализация данных).
    (check this in PDF content)

  50. Start
    34123
    Prefix
    Hadoop как средство обработки данных;  Hadoop для аналитики данных (простая аналитика);  Hadoop для аналитики данных (двухфазная аналитика);  Hadoop для аналитики данных (федеративные запросы / виртуализация данных). Помимо архитектурных шаблонов компания SAP предложила также референсную архитектуру, показывающую, как Hadoop может быть встроен в ландшафт корпоративных приложений SAP
    Exact
    [37]
    Suffix
    , [39]. В рамках референсной архитектуры выделены компоненты технологии обработки данных, источники данных, аналитические приложения и бизнесприложения. Интеграция Hadoop с аналитическими и бизнес-приложениями всегда реализуется через хранилище данных или базу данных (SAP HANA, SAP IQ, SAP ASE) с использованием специализированных компонентов обмена данными и управления качеством да
    (check this in PDF content)

  51. Start
    34130
    Prefix
    как средство обработки данных;  Hadoop для аналитики данных (простая аналитика);  Hadoop для аналитики данных (двухфазная аналитика);  Hadoop для аналитики данных (федеративные запросы / виртуализация данных). Помимо архитектурных шаблонов компания SAP предложила также референсную архитектуру, показывающую, как Hadoop может быть встроен в ландшафт корпоративных приложений SAP [37],
    Exact
    [39]
    Suffix
    . В рамках референсной архитектуры выделены компоненты технологии обработки данных, источники данных, аналитические приложения и бизнесприложения. Интеграция Hadoop с аналитическими и бизнес-приложениями всегда реализуется через хранилище данных или базу данных (SAP HANA, SAP IQ, SAP ASE) с использованием специализированных компонентов обмена данными и управления качеством данных.
    (check this in PDF content)

  52. Start
    35252
    Prefix
    Дополнительно, вместе с архитектурой компания SAP сформулировала общие принципы использования Hadoop в составе корпоративных системных ландшафтов и типовую последовательность действий по развёртыванию Hadoop в составе таких ландшафтов
    Exact
    [37]
    Suffix
    , [39]. Взаимодействие бизнес-приложений с Hadoop через SAP HANA SAP рассматривает как одно из перспективных направлений развития корпоративных систем. В SAP HANA SPS 09 помимо возможностей обмена данными с Hadoop появилась возможность прямого вызова MapReduce из SAP HANA и обратного получения результатов[40].
    (check this in PDF content)

  53. Start
    35259
    Prefix
    Дополнительно, вместе с архитектурой компания SAP сформулировала общие принципы использования Hadoop в составе корпоративных системных ландшафтов и типовую последовательность действий по развёртыванию Hadoop в составе таких ландшафтов [37],
    Exact
    [39]
    Suffix
    . Взаимодействие бизнес-приложений с Hadoop через SAP HANA SAP рассматривает как одно из перспективных направлений развития корпоративных систем. В SAP HANA SPS 09 помимо возможностей обмена данными с Hadoop появилась возможность прямого вызова MapReduce из SAP HANA и обратного получения результатов[40].
    (check this in PDF content)

  54. Start
    35609
    Prefix
    Взаимодействие бизнес-приложений с Hadoop через SAP HANA SAP рассматривает как одно из перспективных направлений развития корпоративных систем. В SAP HANA SPS 09 помимо возможностей обмена данными с Hadoop появилась возможность прямого вызова MapReduce из SAP HANA и обратного получения результатов
    Exact
    [40]
    Suffix
    . Роль основного интегрирующего звена для работы с Big Data, которую SAP возлагает на SAP HANA, нашла подтверждение при создании комплекса для фиксации рекорда в книге рекордов Гиннесса. 5 марта 2014 года SAP построила связку SAP HANA– SAP IQ и продемонстрировала работу в режиме реального времени с базой данных объёмом 12,1 PB [41].
    (check this in PDF content)

  55. Start
    35950
    Prefix
    Роль основного интегрирующего звена для работы с Big Data, которую SAP возлагает на SAP HANA, нашла подтверждение при создании комплекса для фиксации рекорда в книге рекордов Гиннесса. 5 марта 2014 года SAP построила связку SAP HANA– SAP IQ и продемонстрировала работу в режиме реального времени с базой данных объёмом 12,1 PB
    Exact
    [41]
    Suffix
    . SAP HANA в этой связке обеспечивала взаимодействие с клиентами и играла роль гигантского кэша над СУБД, использующей жёсткие диски. 50% данных были структурированными и 50% - неструктурированными.
    (check this in PDF content)

  56. Start
    37924
    Prefix
    Первой такой частной дисциплиной, в которой возникло новое направление в связи с появлением инструментов Big Data, является теория алгоритмов сортировки и поиска данных, детально изложенная в
    Exact
    [42]
    Suffix
    . В ходе создания распределённых файловых систем и ряда других программных продуктов Big Data вырабатывались новые подходы и методы теории сортировки и поиска, позволяющие работать с большими объёмами данных.
    (check this in PDF content)

  57. Start
    40208
    Prefix
    Работу этих узлов нужно организовать, для этого нужно использовать новые подходы, новые алгоритмы, схемы распределения работ и консолидации полученных результатов. Может показаться, что эти задачи не являются чем-то новым, ‒ уже долгое время развивается направление суперкомпьютерных вычислений, в рамках которого решаются похожие задачи
    Exact
    [43]
    Suffix
    . Кластеры Big Data и самые мощные суперкомпьютеры с распределённой памятью, тоже представляющие собой кластеры, на первый взгляд, очень похожи. В обоих случаях используется архитектура Master‒Slave.
    (check this in PDF content)

  58. Start
    44559
    Prefix
    Ещё одним теоретическим обобщением, которое не позволяет отобразить характерные особенности процессов моделирования и обработки данных с использованием различных моделей, является подход 5W, описываемый во многих источниках (например,
    Exact
    [44]
    Suffix
    ). Согласно этому подходу, все инструменты, создаваемые в рамках экосистемы Hadoop и даже за её пределами, относят к средствам аналитики, отвечающим на один или несколько из следующих пяти вопросов:  What is happening?
    (check this in PDF content)

  59. Start
    46177
    Prefix
     Последующее перемещение по рёбрам этого многогранника от одной вершины к другой до тех пор, пока не будет найдена вершина, в которой целевая функция принимает максимальное значение. Второй пример – метаэвристика поиска с чередующимися окрестностями для решения задач непрерывной и дискретной оптимизации VNS
    Exact
    [45]
    Suffix
    , которую в общем виде можно описать так:  Определение последовательности размеров окрестностей и начальной точки.  Циклический поиск локального оптимума, начиная с первого заданного размера окрестности и заданной начальной точки.
    (check this in PDF content)

  60. Start
    47043
    Prefix
    Так компания SAP к 2004 г. испытывала потребность в переходе на параллельные алгоритмы решения задач целочисленного линейного программирования из-за имеющей место тенденции роста размерности при оптимизации цепочек поставок
    Exact
    [46]
    Suffix
    . В компании проводились исследования по реализации параллельных алгоритмов с помощью декомпозиции исходных матриц на блоки и параллельного решения задачи оптимизации отдельных блоков на разных узлах кластера.
    (check this in PDF content)

  61. Start
    50184
    Prefix
    Для преодоления этого ограничения был разработан новый подход к построению имитационных моделей – агентное моделирование и инструменты для построения агентно-ориентированных моделей с использованием грид-систем
    Exact
    [47]
    Suffix
    . В рамках агентного моделирования имитационная модель представляет собой децентрализованное сообщество независимо действующих агентов. К настоящему моменту реализованы десятки инструментов агентного моделирования на базе суперкомпьютеров, с помощью которых можно строить имитационные модели, включающие сотни миллионов и миллиарды объектов.
    (check this in PDF content)

  62. Start
    53365
    Prefix
    Для упрощения разработки на базе YARN приложений, в которых необходимо обеспечить многостадийный процесс обработки данных и обмен информацией между узлами, была разработана платформа Apache Hama. Эта платформа реализует модель программирования BSP (Bulk Synchronous Parallelism). Согласно этой модели весь процесс вычислений состоит из последовательности супершагов
    Exact
    [48]
    Suffix
    . Каждый супершаг выполняется параллельно каждым узлом, участвующим в BSP-вычислениях. Супершаг содержит три стадии: локальные вычисления, обмен информацией и синхронизационный барьер. Каждый узел имеет локальную память, которая доступна только этому узлу в течение всех супершагов.
    (check this in PDF content)

  63. Start
    55130
    Prefix
    В настоящее время в автоматизированных системах управления используется всего два способа сведения множества частных показателей к укрупнённым показателям, отражающим соответствие принятой стратегии развития: использование системы сбалансированных показателей (Balanced Scorecard) и метод управления портфелями
    Exact
    [49]
    Suffix
    . Система сбалансированных показателей строится как иерархическая система, основанием которой является множество показателей деятельности сотрудников низовых звеньев, а на верхнем уровне они консолидируются в небольшое число показателей, контролируемых топ-менеджментом и характеризующих деятельность компании в целом.
    (check this in PDF content)

  64. Start
    58987
    Prefix
    Проблемы, связанные с решением практических задач оптимального управления привели к появлению отдельных групп численных методов для решения задач оптимального управления и специальных программных комплексов
    Exact
    [50]
    Suffix
    . В случаях, когда формальное описание задачи не может быть сформулировано из-за его сложности, но может быть построена имитационная модель системы, оптимальное решение может быть найдено методами прямой оптимизации, работающими поверх имитационной модели.
    (check this in PDF content)