Александр Федирко: время монетизации данных уже пришлоДиджитализация — один из главных бизнес-трендов последних десятилетий. Бесконтактная оплата картой, смартчасы, удаленная работа и роботизированная служба клиентской поддержки уже стали частью повседневной жизни. Адаптация к подобным инновациям — залог роста, а в некоторых случаях и выживание бизнеса. Со временем цифровизация будет только углубляться: по прогнозам, глобальный рынок цифровой трансформации вырастет более чем вдвое всего за 5 лет — с 2020 по 2025 год. Каждый год его совокупный средний темп роста (CAGR) будет составлять 16,5%. Представьте, насколько гигантские объемы различных данных будут накапливаться в сети и какой их объем уже доступен для анализа. Учитывая это, я решил написать колонку для Finance.ua о Big Data. С помощью Big Data можно проанализировать и систематизировать данные из различных источников и использовать их, например, для повышения эффективности таргетинга и коммуникации с клиентами. При этом инструменты технологии широко доступны украинскому бизнесу уже сейчас.
Введение в Big Data: что представляет собой и как используют
Термином Big Data одновременно обозначают как проблематику, так и пути ее решения. Big Data буквально переводится как «Большие данные» — вся доступная структурированная и неструктурированная информация. Это и есть проблема, а вот ее решение — методы, с помощью которых данные обрабатываются, анализируются и систематизируются. Вместе они образуют Big Data. Основа Big Data — принцип «3V». Volume, variety, velocity: объем данных, их формат (txt, pdf, audio, email, video или другой) и скорость передачи, обновления и обработки. Одним из базовых инструментов работы с Big Data является Hadoop. Это программная экосистема, являющаяся главным инструментом обработки и систематизации структурированных и неструктурированных данных. С 2010 г. она начала распространяться по модели open source, и быстро стала стандартом индустрии. Ведь Hadoop решал важную проблему Big Data, а именно масштабирование необходимых системных мощностей для обработки данных. К примеру, у вас есть системные мощности для обработки 100 ТБ данных. Представим, что их количество удвоилось, и теперь нужно обрабатывать 200 ТВ информации. До появления Hadoop вам потребовалось бы соответственно увеличить системные мощности — в два раза. Это так называемое «вертикальное масштабирование», сведенное к «горизонтально» после Hadoop-революции. Именно этот софт позволил обрабатывать восходящий объем данных без необходимости закупки дорогостоящего специализированного оборудования.
Большие данные и бизнес
Развитие интернета, соцсетей, IoT-девайсов и других IT-продуктов, собирающих и позволяющих генерировать большое количество данных, привело к появлению Big Data. Теперь мы можем решать, в каких более или менее очевидных областях применять технологию. К примеру, сейчас с помощью Больших данных, дата-инженеры анализируют комментарии в социальных сетях, темпы сердцебиения, рассчитывают эффективность логистики и прогнозируют продажи. Одной из интересных сфер использования Big Data является маркетинг. Большие данные трансформируют маркетинговые мероприятия в цифры, по которым можно проанализировать эффективность отдельных PR-кампаний. Особенно активно этим пользуется крупный бизнес. К примеру: существует бренд, запустивший в одной из сетей супермаркетов и в интернете рекламу новой линейки молочных продуктов. Дата-аналитики компании собирают данные о таргетинге целевой аудитории — где и кому была показана реклама. После — получают информацию о покупках каждого клиента сети (с помощью бонусной системы или дисконтных карт. — Ред.). В результате инженеры сравнивают полученные данные и оценивают эффективность рекламы: сколько из увидевших объявления онлайн и офлайн воспользовались предложением. Следует отметить, что инструменты Big Data актуальны не для всех компаний. Бизнес, рассматривающий возможность внедрения технологии, должен предварительно оценить объемы баз данных и поступления новой информации. Такой анализ следует провести по принципу 3V и перспективам дальнейшего роста. С точки зрения volume, variety, velocity объем, скорость поступления и формат структурированных и неструктурированных данных требует применения инструментов Big Data. Например, если аналитический отдел компании может быстро обработать данные в пределах какого-либо условного объема, для этого нет необходимости. При резком росте поступления информации, превышающей запланированный уровень, следует рассмотреть использование Big Data инструментов. Аналогично с ростом: стремительное масштабирование бизнеса может в разы увеличить базу доступных данных. Для их быстрого анализа потребуется Big Data.
Big Data в украинских компаниях
Среди отечественного бизнеса Big Data в основном используются крупные игроки, которые оперируют значительными потоками данных. Чаще всего технология встречается в телекоме, ритейле (включая онлайн-сегмент), страховой сфере, а с недавнего времени — и в относительно консервативном банковском секторе. Среди ярких адептов Big Data — Сильпо, Kyivstar, Rozetka, Prom.ua, Lifecell, ПриватБанк, monobank и другие. Главный текущий тренд — Big Data становится доступнее более широкому кругу игроков. Облачные технологии Microsoft, Google и Amazon позволяют сейчас анализировать данные бизнеса с ограниченным бюджетом. Цена вопроса — в пределах нескольких сотен USD, которые предоставят доступ к соответствующим инструментам от облачных провайдеров. Благодаря доступности Big Data в будущем технологию будут все чаще использовать средний и даже малый бизнес для текущей аналитической деятельности. Главный трамплин для дальнейшего развития Big Data в Украине — заимствование иностранного опыта использования технологии. Зарубежный бизнес часто применяет Big Data в симбиозе с другими программными решениями (Machine Learning, Data Science и т.д.), что позволяет решать специальные проблемы. Я подобрал несколько интересных кейсов внедрения аналитических инструментов, которые могут быть полезны украинским компаниям: ● Grammarly — использует инструменты Big Data для анализа ошибок в лингвистике и улучшения баз данных с советами; ● Youscan — с помощью технологии быстро оценивает большое количество комментариев в соцсетях и делает выводы относительно их характера — положительного, отрицательного или нейтрального; ● tripmydream — анализирует персональные предпочтения, цены на билеты, отели, развлечения. Это позволяет спланировать путешествие, наиболее отвечающее персональным увлечениям; ● Reface — вместе использует инструменты АИ, Machine Learning и Big Data для анимации и замены лиц в видео.
Война и рынок Big Data в Украине
Среди крупных игроков наиболее пострадали аграрный и индустриальный секторы: в рамках сокращения расходов из-за боевых действий они уменьшали финансирование аналитических отделов. Однако в целом рынок аналитики и инженерии данных еще не насытился и постепенно растет, хотя и необходимость в дата-инженерах меньше обычных программистов. На рынке труда сокращения были среди инженеров уровня junior или middle. При этом порог вхождения в профессию остается высоким: дата-инженерами становятся внутри компании, переходя по совместимым навыкам или с помощью специальных курсов, организуемых работодателем. Типичные базовые требования для начальных уровней дата-инженеров — опыт в программировании на Python, работы с SQL и английский не ниже уровня В2. Естественно, за рубежом большая необходимость в дата-специалистах. Западный рынок оперирует большим объемом информации и ассортиментом различных предприятий. Поэтому некоторые бизнес-сценарии, актуальные в ЕС и США, в Украине никогда не используются, несмотря на высокую технологическую IT-подготовку отечественных компаний. Александр Федирко, CEE Head of BigData Practice в GlobalLogic
Источник: news.finance.ua
