Большие данные — большие перспективы для бизнеса и карьеры

Большие данные — большие перспективы для бизнеса и карьеры | Kyivstar Business Hub изображение №1
27 апреля 2021
Решения для бизнеса

Big Data, или большие данные — это современная технология, которая открывает множество возможностей и для развития бизнеса, и для муниципальных властей, и для специалистов, желающих заниматься этой отраслью.

Big Data — востребованная технология

Согласно данным EMC каждый пользователь ежесекундно генерирует 1,7 мегабайта данных. Unicorn Insights подсчитали, что для загрузки этих данных из интернета нужно более 180 миллионов лет!

Поэтому у больших данных безграничные перспективы. По оценкам некоторых экспертов всего через два года рынок аналитики Big Data достигнет 103 миллиардов долларов. По информации New Vantage сегодня 97,2% компаний не только пользуются  технологиями больших данных и искусственного интеллекта, но и инвестируют в их развитие.

Из-за быстрорастущего спроса, экспертов в этой сфере не хватает, и многие компании готовы бороться за Big Data специалистов. Поэтому data scientist и data engineer попали в десятку наиболее высокооплачиваемых профессий будущего. В Украине даже госсектор признает важность таких специалистов. Согласно прогнозу Министерства образования дата-аналитики и другие связанные с Big Data профессии будут в списке самых актуальных ближайшие 5–10 лет.

В Киевстар давно поняли огромные возможности обработки больших данных. В 2015 году компания начала использовать Big Data для своего развития, а в 2019 — выпустила бизнес-продукты на основе этой технологи. Сегодня в Киевстар работает более 40 квалифицированных экспертов в сфере Big Data. У них три основные задачи:

  • удовлетворить потребность клиентов в высокотехнологичных цифровых сервисах;
  • решить задачи бизнес-клиентов с помощью уникальных конвергентных продуктов;
  • развивать долгосрочные отношения с партнерами.

Сергей Небольсин — специалист по разработке компьютерных программ и член команды Big Data в Киевстар — рассказал 24 каналу о том, как стать аналитиком больших данных, поделился тонкостями профессии и перспективами Big Data на украинском рынке.

Кто такой специалист по Big Data

Есть разные направления в работе с большими данными. Но в общем людей, которые занимаются Big Data, называют аналитиками данных, или data analyst.

«Аналитика охватывает различные направления, методики и технологии. Аналитик данных может углублять свои знания и становиться data engineer или data scientist», — объясняет Сергей Небольсин.

  • Data scientist занимается анализом данных, чтобы строить прогнозы и получать ценные инсайты. Для этого он применяет существующие алгоритмы машинного обучения или разрабатывает новые с учетом особенностей проекта. Алгоритмы машинного обучения описываются с помощью математических формул, а затем переводятся в понятный для компьютера программный код. Созданием алгоритмов могут заниматься и математики, и программисты, и дата-сайентисты. Но, как правило, последние пользуются готовыми алгоритмами, адаптируя их под конкретные задачи.
  • Data engineer разрабатывает инфраструктуру, потоки и хранилища данных. Это необходимо для организации хранения данных, обеспечения их качества и целостности, а также, чтобы другие пользователи, в том числе аналитики и сайентисты, получили нужную им информацию.

При этом Сергей Небольсин отмечает, что границы направлений довольно размыты, поэтому не нужно делать их градацию. Часто в компаниях специалисты называют себя аналитиками данных, а по факту выполняют работу сайентиста или дата-инженера.

Как работают с данными

Итак, мы выяснили перспективы рынка аналитики. Но как же все это работает, где и как применяют анализ Big Data? На самом деле уже сегодня большинство пользователей ежедневно сталкиваются с продуктами Big Data, среди них:

  • Чат-боты для трекинга посылок, перевода или создания опросов в телеграмме.
  • Списки рекомендаций на стриминговых платформах, таких как YouTube Music и Netflix, основанные на интересах пользователя.
  • Тексты и музыка, написанные искусственным интеллектом (ИИ). Можно написать первую строку или несколько нот, а «машина» продолжит. В результате такое творение будет сложно отличить от созданного человеком.
  • Разблокировка по лицу. Возможность распознавать лица упрощает идентификацию личности, например, при использовании смартфонов или корпоративной техники.
  • Распознавание видео. На основе этой технологии работают беспилотные авто: ИИ управляет машиной, анализируя картинку на видео (пешеходный переход, зеленый свет светофора, человек и пр.)

«Это то, с чем мы ежедневно сталкиваемся, даже не задумываясь, что оно работает на технологиях Big Data и искусственного интеллекта», — говорит эксперт Киевстар.

Как специалист по разработке компьютерных программ и член команды Big Data Киевстар в рамках проектов Сергей Небольсин сталкивался с различными задачами. Например:

  1. Сегментация целевой аудитории услуги, продукта или бренда. Это полезный инструмент, который помогает бизнесу находить новых клиентов. Он дает возможность определить, кто любит сноуборд, а кто — лыжи, у кого есть дети, а у кого — нет, а также многое другое.
  2. Триггерная коммуникация. Этот инструмент позволяет запустить рассылку  в ответ на определенное событие или дату. Например, человек, проходя, мимо кафе или магазина может получить SMS с промокодам на скидку или уведомлением об акции, а именинник в день рождения — поздравление от бренда.
  3. Оптимизация транспортних систем. Анализ Big Data может помочь решить проблему с пробками и улучшить инфраструктуру в целом. Киевстар работает над проектом по усовершенствованию транспортной системы, который позволит прогнозировать загрузку дорог на недели или даже месяцы вперед. Также можно будет оценить общую ситуацию в городе и сделать детальный прогноз — что будет с инфраструктурой через год, через два или спустя пять лет. На основе этих данных можно своевременно проводить профилактику, не дожидаясь появления серьезных проблем.

Стать аналитиком больших данных — заманчивое решение. Но при этом важно учитывать, что высокий заработок не должен быть единственной мотивацией для выбора профессии, а приятным дополнением к любимому делу.

«Какой смысл с того, что профессия высокооплачиваемая, если ты не получаешь от нее удовольствие? Оно не должно так работать. Если тебе нравятся данные и у тебя математический склад ума, то вперед — учись, углубляй знания. Именно это должно быть основной причиной, а высокая зарплата — это замечательный бонус», — считает Сергей.

Как становятся аналитиками: путь одного эксперта

До того как Сергей Небольсин попал в команду Киевстар, он успел поработать аналитиком данных в нескольких компаниях, а в начале своего профессионального пути занимался логистикой. В этой сфере Сергей часто сталкивался с аналитикой, ему  не раз приходилось заниматься автоматизацией процессов, составлять отчеты и анализировать полученные данные. Ему понравилось решать сложные задачи, поэтому он брал их все больше и в поисках решений углублял свои знания и навыки на практике.

Уже после смены сферы деятельности на анализ данных Сергей Небольсин узнал о Big Data School от компании «Киевстар», в которой можно бесплатно получить профессию data analyst, data scientist или data engineer. Со второй попытки ему удалось стать студентом, а после успешного окончания курса Сергей попал в команду Big Data Киевстар.

Как аналитика Big Data меняет мир

«Данные — это действенный инструмент, чтобы улучшить мир», — убежден эксперт Big Data Киевстар.

Данные — это огромная ценность. Возможность обрабатывать большие массивы информации помогает определить места, которые можно оптимизировать и достичь цели, например:

  • удешевить производство без ухудшения качества продукции;
  • уменьшить количество пробок в городе;
  • создать «умную» систему учета ресурсов;
  • автоматизировать процессы и услуги;
  • улучшить эффективность рекламных кампаний и многое другое.

Благодаря Big Data многое, что 10 лет назад казалось чем-то фантастическим, сегодня стало привычным и рутинным. И это лишь начало. Аналитика данных развивается стремительно, и прелесть в том, что компании или организации необязательно иметь свой отдел дата-сайентистов. Ведь есть команда Киевстар и готовые бизнес-решения для ваших задач.