СПО для Больших Данных – Большой Риск или Большая Выгода? презентация

СПО для Больших Данных – Большой Риск или Большая Выгода? Денис Серов

Происхождение Больших Данных

Феномен Больших Данных На порядки больше, чем в традиционных СУБД Сотни ГБайт – это low end Больших Данных Обычно – от ТБайтов до ПБайтов Данные разного рода Обрабатывается весь объем данных Один компьютер точно с этим не справится Задачу обработки можно решать параллельно масштабируемый кластер распределенная файловая система

Традиционные платформы для аналитики

Что если Аналитика будет подобна Google ?

Новая Платформа для Аналитики Больших Данных

Зачем Вам параллельные вычисления? Потому что закон Мура не помогает решить проблему!

СУБД EMC Greenplum Массивно параллельная обработка данных - MPP

Open Source решения для Больших Данных Условно бесплатный доступ к коду Возможность модификации под свои нужды Больше возможностей разработки Экспертиза сообщества СПО Быстрая отладка кода

Open Source решения для Больших Данных Проект может затянуться Неверный расчет ресурсов/людей/денег Срыв проекта под одного заказчика Резкая смена конъюнктуры рынка Невозможность внедрения в корпоративной среде

Hadoop – open source среда для Больших Данных

Hadoop – проблемы масштабирования В среде с одним сервером нет проблем обработки аппаратного отказа  Выполнение параллельных вычислений – огромная трудность Работа с большим объемом данных требует распределения частей задачи по множеству машин для параллельного выполнения Вероятность отказа хотя бы одного из N узлов P1/n=1-(1-P1)^N=N*P1

Hadoop – проблемы масштабирования Частичный или полный отказ внутренней сети Запаздывание прихода данных Сбои отдельных узлов в связи с перегревами, крэшами, отказами, недостатком памяти или места на дисках Повреждение данных при сохранении или передаче Рассинхронизация часов Не отпущенные вовремя блокировки итд

Hadoop – проблемы масштабирования В случае сбоя, оставшаяся часть распределенной системы должна восстановить и продолжить нормальную работу Hadoop спроектирован таким образом, чтобы гарантированно обеспечивать стабильность работы и целостность данных в условиях всевозможных сбоев

Hadoop – проблемы масштабирования Успешная распределенная система должна эффективно управлять ресурсами разных узлов: Процессорной мощностью Оперативной памятью Местом на жестких дисках Сетевая пропускная способность Нadoop не только может поддерживать работу кластера как единого целого, но и выделяет при этом максимум ресурсов основным вычислениям.

Hadoop – проблемы масштабирования Система должна обеспечивать эффективную синхронизацию между узлами и поддерживая вычислительный процесс даже в случае сбоя. Hadoop спроектирован так, что при отказе одного из N узлов – потеря производительности составляет около 1/N %, а работа потерянного узла автоматически перезапускается наиболее оптимальным образом

Архитектура Hadoop • HDFS - Hadoop Distributed File System • Hive – язык запросов к данным в распределенном хранилище данных на базе HDFS • Pig – язык параллельной обработки данных в среде MapReduce • Hbase – база данных Hadoop с линейной и распределенной масштабируемостью • Zookeeper – высоконадежный сервис централизованной координации распределенного выполнения заданий

Hadoop на EMC Greenplum Open Source разработка Масштабная распределенная инфраструктура для пакетной обработки. Масштабируемость от десятков до сотен и тысяч узлов Эффективное распараллеливание работы с Большими Данными http://greenplum.org

Greenplum – это гибкость и выбор

Старые процессы бизнес-аналитики

Что если коллаборация аналитиков станет подобна Facebook?

Новые процессы аналитики

Greenplum Chorus

Организации должны измениться

Превратившись в команду

MADlib – еще одна возможность для СПО сообщества Библиотека встраиваемых функций для аналитики Greenplum

MADlib - возможность для СПО сообщества Библиотека встраиваемых функций для аналитики

MADlib - возможность для СПО сообщества Библиотека встраиваемых функций для аналитики

Гибкая аналитика это …

На основе ПО EMC Greenplum

ИТОГИ Использование СПО для Больших Данных это не только Большая Выгода, но и риск Чтобы снизить риск, нужно выбрать оптимальную платформу Архитектурная надежность Параллельная обработка Масштабируемость Возможность поддержки корпоративного класса Возможность предварительно протестировать EMC предлагает Open Source сообществу: Greenplum – СУБД и платформа для Больших Данных Hadoop – платформу для неструктурированных Данных Chorus – платформа для коллаборации аналитиков MADLib - набор встроенных аналитических функций