Big Data должны обрабатываться быстро!

26 сентября 2014 г. | Категория: Россия и СНГ

18 сентября 2014 года. Москва. Переполненный зал Конгресс-Парка гостиницы Украина. Джазовый оркестр играет музыку из кинофильма «Ва-банк». У всех приподнятое настроение, созвучное атмосфере праздника.

Под аплодисменты на сцену выходит Андрей Солуковцев (на фото), руководитель департамента корпоративных систем хранения данных IBM Россия и СНГ. Форум, посвященный новым технологиям хранения и управления данными, начался.

Мы живем в информационном обществе. В мире, где ежедневно лавинообразно увеличивается количество собираемых данных. Термин «Большие данные», подразумевает сбор, хранение и анализ больших объемов совершенно разнообразных данных из различных источников в реальном времени. Понятно, что обработка больших объемов требует большого количества времени. Но это не устраивает бизнес, которому для принятия решений нужен быстрый анализ данных, иначе актуальность аналитики может пропасть. Поэтому Большие данные должны быть быстрыми. «Как этого добиться – основной вопрос форума, который нашел отражение в его девизе «От больших данных к быстрым», — подвел итог своему выступлению Андрей.

Наш мир быстро меняется. Появляются новые технологии, новые потребности и новые возможности для бизнеса. Сейчас новыми возможностями являются:  облачные вычисления;  мобильные приложения; социальные сети; большие данные и аналитика. О новой экономике данных и стратегии IBM в области СХД рассказал Себастьян Краузе, вице-президент компании IBM (доклад «Новая экономика данных. Стратегия IBM в области СХД»).  Мы услышали, что в стратегией фирмы IBM в области СХД является :

– обработка новых типов данных при помощи программно-ориентированных СХД,
– максимальная производительность, которая обеспечивается фирмой  IBM благодаря технологии Flash,
– птимизация, основанная на виртуализации.

В качестве аргумента в споре со своими основными конкурентами из «большой тройки» компаний – лидеров на рынке виртуализации СХД, фирмами EMC и Hitachi, Себастьян представил дисковую систему IBM Storwize V7000 и аппаратно-программный комплекс IBM SAN Volume Controller, специально предназначенный для виртуализации СХД.

На фото: Олег Фатеев — человек, на котором в компании IBS держатся Облака

Решение задачи обеспечения максимальной производительности возлагается на новые разработки фирмы   — СХД IBM FlashSystem 840, которая, занимая в стойке пространство в два юнита (2U)  может достигать максимальной емкости в 48 Тб. При этом система позволяет ускорить отклик приложений до уровня 135 микросекунд.

Для решения задач оптимизации, основанных на виртуализации были предложены программно-конфигурированные СХД, основанные на технологии Elastic Storage.

Было отмечено, что ключевым компонентом Elastic Storage является ее возможность автоматически перемещать данные в наиболее экономически эффективную систему хранения. Благодаря возможностям анализа данных в режиме реального времени Elastic Storage может автоматически перенаправлять редко используемую информацию на менее дорогие ленточные накопители, а часто используемые данные хранить в высокоскоростных флеш-системах, что гарантирует пользователям оперативный доступ к информации. Более того, функции нативного шифрования и безопасного удаления данных позволяют безвозвратно стирать информацию, что соответствует нормативным требованиям HIPAA и Sarbanes-Oxley.

На фото: выступает Себастиан Краузе

«Обработка любых данных, любых систем хранения в любом месте, с максимумом производительности,   - вот чего  вы добьетесь с системами хранения данных IBM» – основной лейтмотив  выступления Себастьяна Краузе.

Коллегу поддержал вице-президент компании Кришна Натан, который выступил с докладом «Инновации в СХД IBM. От атома до вселенной»

Он рассказал об инновациях фирмы IBM в разных областях хранения данных, которыми являются:

На фото: выступает Кришна Натан

– новый класс устройств хранения данных на технологии Storage Class Memory (SCM), которая стирает границы между СХД и памятью;
– память с изменением фазового состояния (PSM), которая использует для хранения бита данных две различные твердые фазы металлического сплава, имеющие разные электрические сопротивления, причем переход между фазами; обеспечивается путем контролированного нагрева и охлаждения;
– инновационные флэш-накопители, на базе памяти следующего поколения;
– усовершенствованный контроллер флэш-памяти;
– платформа универсального хранилища, с единым пространством имен, независимым от местонахождения данных, где нет привязки к аппаратным ресурсам, а файл и история объекта находятся в одном месте;
– СХД с вычислительным функционалом.

На фото: Конгресс-Парк гостиницы Украина

«Мы живем в мире «Расширяющейся Вселенной данных»: Square Kilometer Array (SKA) – 14 экзабайт данных в день!!! – подытожил свое выступление Кришна Натан. – «И фирма IBM готова ответить на этот вызов».

Воодушевленный причастностью к вселенским проблемам, народ разошелся по параллельным сессиям. Здесь тоже было много интересного.

Заинтересовал доклад Сергея Касаева о подходе к IBM к построению программно-определяемых систем хранения данных. Он отметил, что интеграция передовых систем фирмы IBM – DS8000 и System Z дает выигрыш в производительности в 7 раз по сравнению с аналогичным решением основного конкурента. Это заявление понятно, мы все же на форуме, который проводит IBM. Больше заинтересовал раздел выступления, касающийся использования банками Облаков.

На фото: на пленарном заседании

Наши банки пока неохотно идут в Облака. Но западные уже во всю используют облачные технологии. Так облачный подход IBM Xiv использует Citibank. Это удобно – функциональность доступна по мере необходимости, есть мультиарендность (Multi-tenancy), когда единый экземпляр приложения может обслуживать несколько филиалов, легко поддерживается масштабируемость, что очень важно при развитии бизнеса и открытии новых точек доступа к банковской сети.

Интересен был опыт эксплуатации платформы DS8000 в Альфа-банке, которым поделился начальник его управления Артем Шахвердян. Облака они не используют, зато все строго, надежно и в меру консервативно, как и полагается банку.

На фото: cвойства объектов резервного копирования

О последних тенденциях в развитиях средств хранения рассказал в своем докладе представитель генерального спонсора форума — компании IBS.  Это :

• -интеграция задач хранения и обработки данных,
• - перенос функций обеспечения надежности с оборудования на программное обеспечение;
• - организация доступа к данным, как к объектам хранения.

Более подробно он остановился на рассказе об  объектном хранении. Александр напомнил, что при  использовании этой технологии :

• - информационные объекты хранятся и используются непосредственно, без «раскладывания» их в реляционные базы данных и классические файловые системы;
• - данные не ограничены набором предопределенных типов;
• - метаданные объекта, а также методы доступа к нему, помещаются в систему хранения как единое целое.

На фото: Обсуждения в фойе

Александр привел пример своего успешного проекта. Заказчик назван не был, но видимо это какая-то крупная государственная структура. В исходной ИС, построенной с использованием Oracle Database хранилось миллион документов, причем планировалось ежегодное увеличение объема хранимой информации на 40%.

В ходе реализации проекта была доработана ИС, в СУБД теперь хранятся не данные, а ссылки на документы, была создана конвергентная среда хранения данных (распределенная система управления, дисковые хранилища, ленты), и была развернута система управления данными на основе IBM Filenet. В итоге удалось в два раза снизить стоимость единицы хранимой информации.

На фото: Стенд IBS

Бурные обсуждения шли и в фойе Конгресс-Парка. Здесь выделялся стенд компании IBS. Можно было посмотреть стойку с блейд-системой IBM PureFlex на которой был развернут гипервизор Parallels Cloud Server. На семи лезвиях были подняты виртуалки с разными версиями Windows и Linux. На двух лезвиях внутри двух больших виртуалок поднята еще контейнерная десктопная виртуализация Parallels VDI. На одной виртуалке внутри был запущен в цикле рекламный видео-ролик. Виртуалка каждые 30 секунд переезжала в режиме Live Migration c одного лезвия на другое, но по картинке ролика на экране это было совершенно не заметно.  Приятно, что Parallels VDI и Parallels Cloud Server – российские разработки. Весомый вклад в программу импортозамещения в стране.

Конечно, как и в любом деле, в проведении форума были недостатки. В буфете не было черной икры, только красная. В баре (все было бесплатно) мне не сделали мой любимый коктейль «Маргарита» и пришлось ограничиться «Дайкири» и «Пинаколадо». Но все это не отменяет главного – форум прошел на отличном уровне и увенчался успехом.

Николай Носов,
кандидат технических наук (информационные системы),
зам.начальника отдела автоматизации КБ «Кутузовский». Фото автора

Теги: Big Data, IBM