IBM представляет Elastic Storage - новую технологию обработки больших данных

Одна из  новых технологий– Elastic Storage – предлагает беспрецедентную производительность и неограниченное масштабирование. Она автоматически перемещает данные на самое экономичное устройство хранения, тем самым снижая издержки хранения на 90 процентов.

Эта новая запатентованная технология была создана в исследовательской лаборатории IBM Research. Elastic Storage позволяет организациям не просто управлять, а с выгодой для себя использовать растущие объемы данных, генерируемые многочисленными устройствами, сенсорами, различными бизнес-процессами и социальными сетями. Новое решение для хранения идеально подходит для приложений, требующих обработки большого количества данных и высокоскоростного доступа к массивам информации – от обработки сейсмических данных, управления рисками и финансовой аналитики, составления прогнозов погоды и научных исследований до планирования действий в режиме реального времени.

«Количество цифровой информации растет такими темпами, что традиционные системы хранения постепенно уходят в прошлое, – комментирует Том Розамилья (Tom Rosamilia), старший вице-президент IBM Systems and Technology Group. – Наша технология предлагает улучшенную скорость, масштабирование и сокращение издержек, позволяя клиентам пользоваться данными как конкурентным преимуществом».

Программно-определяемые системы хранения – это набор средств ПО, которые автоматически управляют данными на локальном и глобальном уровне, обеспечивая беспрецедентную скорость доступа, легкое управление и возможность масштабирования инфраструктуры по мере роста объемов информации. Помимо этого, эти технологии могут работать на любом оборудовании и обеспечить автоматизированное и виртуализированное хранение.

Качественно новая технология

Технологии, положенные в основу Elastic Storage, были также использованы в суперкомпьютере IBM Watson для его победы над двумя чемпионами телевизионной игры Jeopardy! (аналоге российской «Своей игры»). С помощью Elastic Storage около пяти терабайтов «знаний» были загружены в память суперкомпьютера всего за несколько минут. Таким образом, во время телевизионного матча у IBM Watson был доступ к 200 миллионам страниц структурированных и неструктурированных данных, включая полный текст Википедии.

Одной из главных причин того, что Elastic Storage была использована для IBM Watson, стало то, что она может масштабироваться до тысяч йоттабайтов. Йоттабайт – это один миллиард петабайт, требующий центр обработки данных размером в один миллион городских кварталов.

Исследовательская лаборатория IBM Research продемонстрировала, что Elastic Storage может успешно просканировать 10 биллионов файлов на один блок памяти за 43 минуты, что гарантирует непревзойденную производительность подобных систем при анализе огромных массивов данных.

В основе технологии Elastic Storage лежит глобальное файловое программное обеспечение IBM, которое обеспечивает управление хранением в режиме онлайн, масштабируемый доступ и интегрированные инструменты, способные управлять огромными массивами данных и миллиардами файлов. К примеру, Elastic Storage использует серверную флеш-память для увеличения производительности более чем в шесть раз по сравнению с SAS-дисками. В случае если у сервера есть флеш-память, она автоматически используется как кэш-память для увеличения производительности.

Elastic Storage виртуализирует системы хранения, позволяя нескольким системам и приложениям пользоваться общими ресурсами памяти. Это также обеспечивает прозрачный глобальный доступ к данным без необходимости модифицировать приложения или добавлять дополнительные системы управления хранением. Так как Elastic Storage не полагается на центральную систему для определения места записи файла, клиенты имеют доступ к данным даже в случае сбоев работы ПО или оборудования.

Для Лаборатории вычислительных и информационных сервисов (Computational and Information Services Laboratory, CISL), находящейся в составе Национального центра США по исследованию земной атмосферы (National Center for Atmospheric Research), растущие объемы данных – неотъемлемая часть ее структуры. Организация управляет более чем 50 петабайтами информации, которая хранится в центрах в Вайоминге и Колорадо, и использует Elastic Storage с целью предоставить исследователям быстрый доступ к разнообразным данным.

«Мы предоставляем услуги обработки и передачи данных в сфере вычислений, образования и проведения исследований, которыми пользуется более 1000 сотрудников, занятых на более чем 200 геофизических предприятиях, – прокомментировала Памела Гиллман (Pamela Gillman), руководитель группы анализа данных в CISL. – Программное обеспечение от IBM предоставляет масштабируемый, надежный и быстрый доступ к этим массивам данных, и уже успело положительно повлиять как функционирование отдельно взятых сервисов, так и организации в целом».

Ключевым компонентом Elastic Storage является его возможность автоматически перемещать данные в стратегически предпочтительную и наиболее экономически эффективную систему хранения. Благодаря функциям, ориентированным на актуальные политики, и возможностям анализа данных в режиме реального времени Elastic Storage может автоматически перенаправлять редко используемую информацию на менее дорогие ленточные накопители. В то же время часто используемые данные могут храниться в высокоскоростных флеш-системах, что гарантирует пользователям оперативный доступ к информации.

Более того, функции нативного шифрования и безопасного удаления данных позволяют безвозвратно стирать информацию, что соответствует нормативным требованиям HIPAA и Sarbanes-Oxley.

Благодаря поддержке программного обеспечения OpenStack для управления облачными вычислениями, Elastic Storage также предоставляет заказчикам возможности хранения, управления данными и совместной работы в частных, публичных и гибридных облачных средах. Помимо совместимости с сервисами OpenStack Cinder и Swift, Elastic Storage также поддерживает другие открытые API, такие, как POSIX и Hadoop.

В то время как традиционные СХД перемещают информацию между обозначенными системами для последующей обработки и анализа транзакции, Elastic Storage может автоматически настраивать баланс ресурсов для поддержки всех типов нагрузки приложения, включая инструменты аналитики на основе Hadoop. Это позволяет значительно ускорить процесс анализа информации и избавляет от дорогостоящей необходимости создания многочисленных копий.

Elastic Storage также будет доступно в качестве облачного сервиса на базе IBM SoftLayer уже в этом году.