BigData в работе интеграторов. Тренды, технологии, комментарии игроков

01.10.2019 |

Анна Тумакова.

ICT-Online.ru: По вашим наблюдениям, насколько стремительно растут объемы данных? Будет ли продолжаться такая динамика?

Руководитель направления внедрений систем бизнес-аналитики Softline Станислав Воронин: Цифровизация набирает обороты: новые технологии внедряются во всех сферах бизнеса. «Умные» решения позволяют осуществлять мониторинг и автоматизацию бизнес-процессов. Промышленность использует датчики для определения фактических условий работы оборудования, степени его износа, качества и объема выпускаемой продукции. Ритейлеры все активнее собирают информацию о своих клиентах: пол, возраст, историю покупок, предпочитаемые каналы продаж. Новые технологии внедряются в сфере услуг, в ЖКХ, даже в государственных организациях. Ежегодно объем данных вырастает в разы, а то и в десятки раз. И динамика будет только усиливаться.

Руководитель направления внедрений систем бизнес-аналитики Softline Станислав Воронин

Директор центра компетенций по информационной безопасности «Гарда Технологии» («ИКС Холдинг») Роман Жуков: Лавинообразный рост количества данных, когда объективно невозможно их анализировать вручную в каждой компании и в государстве в целом, как раз и определяет ту самую «Цифровую трансформацию», которую мы с вами переживаем. Общий объем генерируемых цифровыми устройствами данных к 2020 году составит 44 трлн гигабайт.

Директор центра компетенций по информационной безопасности «Гарда Технологии» («ИКС Холдинг») Роман Жуков

При внедрении продуктов, основанных на BigData, у наших заказчиков мы фиксируем десятки тысяч событий в секунду, а объем данных, которые обрабатывает только наша платформа, исчисляется десятками терабайт. Такая динамика преумножения данных будет не просто продолжаться, но активно наращивать свои темпы. И, правда, окружающих нас информационных систем становится все больше, мы уже не представляем выполнение повседневных задач без удобных приложений в смартфоне. А каждое из них - это огромный плюс в общую копилку количества данных в мире. Например, одна семья из 3 человек создает объём данных, достаточный для заполнения более 50 iPhone со средним объемом памяти от 64 Гб.

Директор департамента систем консолидации и визуализации данных «Инфосистемы Джет» Дмитрий Кулагин: За прошедшие два-три года примерно в 10 раз выросли объемы данных, которыми оперирует бизнес. Если раньше достаточным считалось иметь хранилище 20-50 терабайт, то сейчас мы строим озёра данных (Data Lake) вместимостью 300 терабайт, которые в будущем придется увеличивать по мере накопления данных. Чем больше данных накоплено в системе, тем точнее работают инструменты анализа с помощью Машинного обучения (ML) и статистические механизмы.

Директор департамента систем консолидации и визуализации данных «Инфосистемы Джет» Дмитрий Кулагин

Например, в одном из наших проектов на крупном промышленном предприятии с датчиков IoT и различных систем на вход подавалось 4,5 гигабайт в час, при сжатии превращалось в 250 мегабайт. Со временем эти данные накапливаются и требуют дополнительных мощностей, которые достаточно просто наращиваются при правильном проектировании кластера Hadoop.

Старший инженер-проектировщик ПО компании ICL Services Дамир Заляев: По личным наблюдениям, данные растут примерно по «Закону Мура»: увеличиваются в 2 раза каждые 1,5 года. Считаю, что динамика будет усиливаться.

Старший инженер-проектировщик ПО компании ICL Services Дамир Заляев

Старший руководитель группы поддержки систем компании ICL Services Станислав Вахтин: Данные растут значительнее, практически в геометрической прогрессии. Все больше и больше систем нацелены на увеличение детализации данных и накапливании объемов.

Старший руководитель группы поддержки систем компании ICL Services Станислав Вахтин

Директор по стратегическому маркетингу РДТЕХ Владимир Сизых: Мировая статистика продолжает показывать тенденцию экспоненциального роста объема создаваемых данных. Причин сомневаться в такой динамике нет. Ежегодно число пользователей Интернета увеличивается на 15-20 %. Новые технологии формируют новые потребительские привычки, следствием которых является генерация новых данных. Думаю, что в горизонте 3-5 лет динамика прироста их объема сохранится.

Директор по стратегическому маркетингу РДТЕХ Владимир Сизых

ICT-Online.ru: Какие отрасли наиболее перспективны как заказчики проектов, связанных с большими данными? Почему?

Станислав Воронин (Softline): Активнее всего с BigData работают промышленные предприятия. Промышленность активно модернизируется, стремится повысить эффективность, анализируя фактические условия работы производства. Заказчики Softline все чаще проявляют интерес к проектам по созданию «цифровых двойников» всех типов производства: дискретное производство, добыча, переработка, машиностроение. «Цифровые двойники» позволяют смоделировать производственный процесс на основе данных, полученных на фактически работающем предприятии, и оптимизировать его, определив оптимальную загрузку оборудования с учетом внешних факторов - энергоемкость, материалоемкость и так далее.

Роман Жуков («Гарда Технологии»): Максимальную эффективность на текущем витке развития технологии больших данных показывают сферы коммерции, маркетинга, HR, телекома, финансов, кибербезопасности и промышленности. Необходимым условием применения BigData является наличие самих данных. И чем их больше поступает для анализа из различных источников в компании, тем лучше. Наличие так называемых Data Lakes («Озер данных» - наборов структурированной и неструктурированной информации, собранной из разнородных источников и обеспеченной системами хранения, доступа и анализа, которые основаны на технологическом стеке BigData) прямо определятся технологической зрелостью предприятия. Флагманы в этом направлении - телеком и ИТ-компании, банки, ритейл, активно подтягивается промышленный сектор.

Дмитрий Кулагин («Инфосистемы Джет»): В первую очередь это промышленность, там очень много различных датчиков, которые поставляют данные, их можно использовать для анализа и оптимизации производственных процессов. Кроме того, на заводах много станков и приборов, которые нуждаются в периодическом обслуживании и ремонте, – на основании данных с датчиком и производственной загрузки можно выявлять оптимальное время обслуживания и ремонта.

Еще одна отрасль, активно использующая технологии BigData - это телеком. Компании-операторы накапливают массу информации о трафике и звонках, что представляет ценность для маркетинга и выстраивания отношений с клиентами. Меньшие объемы данных встречаются в финансовом секторе, но и у них все активнее применяются технологии BigData. Начинают использоваться эти технологии и в государственных структурах.

Дамир Заляев (ICL Services): С повышением интереса практического использования машинного обучения ожидается, что все отрасли так или иначе будут подвержены желанию использовать большие данные.

Вахтин Станислав (ICL Services): Это коснется всех отраслей однозначно, самые перспективные отрасли, на мой взгляд, сейчас – ИТ, ритейл, онлайн-торговля, медицина, производство. Отдача от вложений туда наиболее быстрая, так как сразу виден результат при небольших рисках и вложениях.

Владимир Сизых (РДТЕХ): Основной поток хранимых данных происходит там, где есть высокая частота использования сервисов большим количеством контрагентов. К таким традиционным «генераторам» объема данных можно отнести интернет/телекомы, банки, ритейл, а также государственные системы (например, ФНС, Госуслуги). Эти отрасли, как магнит, притягивают новые проекты, результатом которых является потребность в увеличении ресурсов для хранения и обработки новых данных. В качестве примера можно привести развитие IoT/умных домов, где идет генерация нового типа трафика – данных от датчиков и автоматический обмен данными M2M на рынке B2C.

ICT-Online.ru: Какие особенности накладывает рост объемов данных на работу интегратора? Какие новые ресурсы требуются?

Станислав Воронин (Softline): Все технологии, внедряемые в рамках цифровой трансформации бизнеса, призваны повысить эффективность производства. Заказчики становятся более зрелыми и все чаще настроены не на внедрение отдельных «умных» компонентов, а на реализацию комплексного проекта. Технологии являются довольно дорогостоящими, но их грамотное использование позволяет бизнесу добиться ощутимого экономического эффекта в обозримом будущем. В то же время, ошибка, допущенная при реализации такого проекта, может дорого стоить компании.

Поэтому интеграторы и заказчики должны работать совместно, а еще лучше, если к решению бизнес-задач подключаются представители вендора. Интегратор приносит в проект свои компетенции по внедрению новых информационных систем и их эксплуатации, разрабатывает методологию и выстраивает процесс, а также обеспечивает необходимую инфраструктуру. Заказчик обладает глубокой отраслевой экспертизой и знанием конкретного производства, а разработчик имеет наиболее развитые компетенции по работе с конкретным продуктом. Только совместная трехсторонняя работа позволяет реализовывать сложные комплексные проекты по цифровой трансформации наиболее качественно.

Дмитрий Кулагин («Инфосистемы Джет»): Системному интегратору требуется квалификация на всех уровнях, начиная с системных администраторов и заканчивая специалистами по безопасности и консультантами, которые знают, как использовать те или иные сервисы BigData для решения требуемых задач.

Рост объемов данных влечет за собой расширение самого́ кластера, а это развёртывание дополнительной инфраструктуры и, как следствие, сервис, обслуживающий созданный ИТ-ландшафт.

Поэтому жизненно необходимо, чтобы команда внедрения Big Data обладала компетенцией на всех этапах построения и эксплуатации озера данных. Просчет на любом этапе влечет снижение эффективности всей системы, а иногда и полное разочарование в этих технологиях.

Дамир Заляев (ICL Services): Требуются как специалисты по созданию/поддержке инфраструктуры больших данных, так и специалисты по извлечению ценности из таких данных (Business Analytics, Data Science).

Вахтин Станислав (ICL Services): Data Analytic, Data Engineer, Data Scientist, Data Architect.

Владимир Сизых (РДТЕХ): Интеграторы оперативно реагируют на возможности, которые открываются им как со стороны производителей железа, так и нового программного обеспечения. Ну а требуемый ресурс остается неизменным – человеческий капитал с необходимым набором компетенций. Для интегратора ничего принципиально нового тут нет, мы привыкли к таким процессам: анализ новых возможностей – новый партнер-вендор – обучение – сертификация – пилотные проекты – типовые проекты. И сложность остается неизменной: риск того, что конкретное направление, в которое решили вкладываться (а это, как правило, узкие компетенции), может «не выстрелить» и не окупиться. Для минимизации рисков участники рынка обычно стараются разделить их с партнерами и, по возможности, развивать сразу несколько направлений. Для интегратора это непрерывный внутренний технологический процесс. Так, вчера нанимали людей со знанием PL/SQL, а сегодня – сертифицированных специалистов по Cloudera или Kafka.

ICT-Online.ru: Расскажите об опыте вашей компании в данном направлении.

Станислав Воронин (Softline): Заказчики Softline активно интересуются реализацией проектов в области использования больших данных. Чаще всего это представители промышленной сферы: нефтедобывающие и металлургические компании. В настоящее время у нас в проработке находится несколько проектов в крупных промышленных организациях, в частности, в сфере металлопроката. Проекты направлены на повышение эффективности работы производства: выявление причин простоев оборудования и отклонений в качестве продукции с последующим их устранением.

Роман Жуков («Гарда Технологии»): Настоящую пользу от BigData удается извлечь только в том случае, когда поставлены конкретные задачи и отрабатываются реальные кейсы. Например, в одном из наших проектов мы построили экосистему информационной и экономической безопасности в одной из крупнейших технологических компаний страны. Благодаря подключению сотен узлов, внутренних информационных систем и внешних источников данных к разработанной нами BigData-платформе компания более эффективно решает повседневные задачи безопасности. Если раньше на рутинные операции, поиск и расследование инцидентов и поиск виновных служба безопасности тратила дни, то сейчас это занимает не более часа. Кроме того, в масштабах территориально-распределенного предприятия и миллиардов поступающих событий в сутки оперативно проанализировать обстановку, обработать все данные вручную физически невозможно. Внедренные технологии автоматизации вместе с BigData подняли работу службы безопасности на качественно новый уровень, освободив их от операций по поиску, сбору и сведению информации. Это существенно повысило эффективность, поскольку позволило высвободить ценные человеческие ресурсы для задач более высокого класса – превентивное реагирование, глубокий анализ и предотвращение инцидентов.

Дмитрий Кулагин («Инфосистемы Джет»): Мы делаем интересные и масштабные проекты с технологиями Big Data как в промышленных компаниях, так и в телекоме, и в финансовом секторе. И во всех этих проектах мы сталкиваемся с проблемами извлечения данных из источников. Замечу, что для решения этих проблем заказчики все чаще соглашаются использовать передовые технологии репликации данных.

Дамир Заляев (ICL Services): Мы наблюдаем начало экспоненциального роста в данной области. Количество подобных проектов уже выросло с 1-2 до более 7.

Вахтин Станислав (ICL Services): Фокус проектов переходит с анализа исторических данных на предиктивный (что произойдет дальше), прескриптивный (что делать дальше) в сторону автоматизации решений.

Владимир Сизых (РДТЕХ): Интеграторы – это такие же коммерческие компании, которые стараются широко смотреть на возможности, появляющиеся благодаря новым технологиям. Именно поэтому у компаний, которые исторически больше занимались «железом», появляются софтовые компетенции и наоборот. Например, РДТЕХ расширяет свои компетенции путем наложения экспертизы по настройке производительности OLTP-приложений на СХД, фактически предлагая рынку IaaS-решение.

ICT-Online.ru: Какие перспективы работы с большими данными в вашей компании вы видите?

Станислав Воронин (Softline): Как глобальный поставщик ИТ-решений мы можем оценить тенденции, характерные для международного рынка, и сравнить их с российскими реалиями. За рубежом сейчас очень высок спрос на cloud и работу с большими данными в облачных средах. В России такие запросы пока единичны. Причина, скорее всего, в том, что иностранные компании уже прошли определенную стадию по накоплению первичного объема данных, и хранение большого объема информации в облаке оказывается более экономически целесообразным. Запросы на cloud в России, скорее всего, будут расти в ближайшие несколько лет.

Роман Жуков («Гарда Технологии»): Само по себе внедрение технологий BigData, во-первых, не решит все ваши задачи раз и навсегда, а во-вторых, уж точно не позволит уволить добрую половину персонала. Давайте разберемся почему.

Большие данные и автоматизация операций работы с ними позволяют видеть «картину целиком», независимо от сферы применения. Внедрение этих технологий должно сопровождаться созданием соответствующих процессов в компании и даже изменением корпоративной культуры. Эффективность, прежде всего, будет достигаться за счет перепрофилирования персонала, так как кардинально меняются средства производства. Незаметно происходит очередная технологическая революция, которая и называется переходом к той самой Индустрии 4.0. И чем быстрее предприятие внутри себя освоит новый подход к определению свойств всех вещей, а также методам их производства и потребления, тем быстрее наступит качественный скачок в ее развитии. И действительно, мы наблюдаем беспрецедентный рост капитализации тех компаний, которые активно продвигают и внедряют передовые технологии даже, казалось бы, в исторически консервативных отраслях. Примерами удачной трансформации подходов могут служить службы такси и доставки (Uber, Amazon) - в мире, а также телеком и банки (МегаФон, Ростелеком, Сбербанк) – в России.

Дмитрий Кулагин («Инфосистемы Джет»): Мы освоили основные технологии, связанные с Hadoop от компаний Cloudera и Arenadata, сейчас активно развиваем сотрудничество с Huawei: они предоставляют как аппаратную платформу для работы с большими данными, так и собственный дистрибутив корпоративного Hadoop FusionInsignt HD. Другое направление, которое мы активно развиваем - построение хранилищ данных с использованием MPP баз данных, которые могут горизонтально масштабироваться аналогично Hadoop-кластерам. Кроме того, мы приступили к пилотированию использования графических процессоров для оптимизации аналитических витрин.

Дамир Заляев (ICL Services): Несомненно, основным двигателем развития мировой экономики в ближайшие годы будет AI. Поэтому все, что с этим связано – перспективно. Главное – успевать за стремительным прогрессом в данной области.

Владимир Сизых (РДТЕХ): Перспективы – в постоянном поиске возможностей на стыке технологий. Сегодня разделить связку BigData – ML – AI может только квалифицированный аналитик, а с точки зрения бизнеса формулировка задачи зачастую содержит необходимость совмещения многих технологий, в том числе и вышеприведенной триады. Понятия «озеро данных» и «обучаемые модели» уже редко разделяются в детализированных ТЗ бизнеса. BigData уже скрылась из Gartner Hype Cycle, став нишевой технологией для решения прикладных задач.

В наших проектах задача построения масштабируемых «озер данных» тоже не является самоцелью. Мы научились работать с большими данными: строить качественную программную инфраструктуру для масштабируемого наполнения «озер» высоконагруженными «трубопроводами» из данных от внешних систем.

Как обычно, сохраняется потребность во взаимодействии бизнеса и технологий. Именно тут идет основное развитие. Это хорошо наблюдается в банках и телеком-компаниях, с которыми сотрудничает РДТЕХ.

В бизнес-подразделениях наших заказчиков появляются аналитики с техническим бэкграундом, способные понимать бизнес и ставить задачи, для решения которых требуется применить весь стек современных технологий. И мы как интегратор рады таким «инженерно-творческим» проектам, а клиент доволен решением очередной «головоломки».

ICT-Online.ru: Большое всем спасибо за беседу!

Свежее по теме

ИТ-компания «Инфосистемы Джет» провела практический анализ защищенности компании «Полисан»

Автор: Анна Тумакова.

Тематики: Интеграция

Ключевые слова: Инфосистемы Джет, Софтлайн, Big Data, ICL Services , Гарда Технологии, РДТех