Топ-12 применений Data Science, формирующих 2021 год

Data Science (наука о данных) — многодисциплинарная область, использующая научные методы и вычислительные алгоритмы для извлечения ценных инсайтов и знаний из структурированных и неструктурированных данных.

Включает математику, статистику, статистическое моделирование, информатику, базы данных, программирование, предиктивную аналитику, обработку сигналов, ИИ, машинное обучение, нейросети и многие другие передовые процессы.

Data Science стал одной из самых быстро растущих сфер XXI века. Область применения очень широка и всестороння.

Сегодня более 1000 организаций и частных лабораторий работают индивидуально и коллаборативно над решением самых сложных проблем общества. Польза их исследований неисчислима.

Погрузимся глубже и узнаем о самых распространенных применениях Data Science.

12. Управление авиаоперациями (Airline Operation Management)

Оценка пассажирского спроса по разным маршрутам и увеличение прибыли на сиденье

Компании вроде EasyJet и Southwest Airlines превратили операционные вызовы в успешные кейсы Data Science.

Ключевые выгоды внедрения Data Science в авиацию: точные ответы на текущий и будущий спрос, улучшенное планирование маршрутов, лучшее управление выручкой, внедрение прибыльных маркетинговых стратегий (программы лояльности).

С Data Science авиакомпании улучшают ценовую стратегию и управление инвентарем. Многие успешно увеличили прибыль на сиденье более чем на 20%. Некоторые перевозчики анализируют миллиарды поисковых запросов на сайте ежегодно для определения оптимальных маршрутов и времени рейсов.

11. Анализ намерений (Intent Analysis)

Позволяет бизнесу быть более клиентоориентированным

Вы, возможно, знакомы с «сентимент-анализом» — методом анализа сообщения для определения тональности (негативная, позитивная, нейтральная). Intent analysis поднимает процесс выше: анализирует намерение пользователя за сообщением и определяет, относится ли оно к жалобе, предложению, запросу, мнению или новости.

Системы intent analysis комбинируют машинное обучение с различными аналитическими функциями — от низкоуровневой токенизации и синтаксического анализа до высокоуровневого сентимент-анализа.

Пример соц-постов с разными намерениями по смартфону:

• «Есть ли у него OLED-экран?» — запрос
• «Могли бы поставить 5000 мАч вместо 4200 мАч» — предложение
• «Качество камеры нехорошее» — отзыв

Data Science выявляет паттерны намерений. Позволяет бизнесу быть более клиентоориентированным, особенно в продажах и поддержке. От обработки фидбека до работы с большим числом запросов и оказания персонализированного сервиса — intent analysis может стать ключевым инструментом. Также используется для обнаружения спама: невалидных писем, сообщений, звонков.

10. Обнаружение финансового мошенничества (Detecting Financial Fraud)

Выявление несоответствий в транзакциях

Мошенничество с транзакциями кредитных карт, налоговыми декларациями, страховыми претензиями — серьезная проблема для бизнеса и госорганов. Нет единого софта или алгоритма, работающего для всех видов фрода во всех отраслях. Характеристики проблемы варьируются в каждой ситуации.

Поэтому каждый Data Science-инструмент проектируется под несоответствия в домене конкретной отрасли. Некоторые рассматривают обнаружение фрода как задачу контролируемой классификации, другие используют свои подходы: кластерный анализ, временные ряды, анализ точек разрыва, мониторинг транзакций в реальном времени.

Разные методы для разных типов фрода:

• Нейросети — для обнаружения мошенничества в финансовой отчетности.
• Байесовские нейросети — эффективно обнаруживают медицинское страховое мошенничество, телеком-фрод, мошеннические транзакции по кредиткам.
• Link analysis — использует record linkage и методы социальных сетей для поиска связей между известными мошенниками и другими лицами.
• Алгоритмы обучения без учителя — для выявления новых типов фрода.

9. Оптимизация маршрутов в реальном времени (Real-Time Route Optimization)

Минимизация расстояния и затрат на перемещение

Сила Data Science и прикладной инженерии позволяет точно прогнозировать время в пути между двумя локациями.

Допустим, у компании доставки 1000 маршрутов, 50 магазинов, 50 000 клиентов. Цель — доставить посылки максимально быстро, преодолев меньше расстояния. Это NP-hard задача.

Можно использовать трехмерный подход и изощренные алгоритмы маршрутизации для высокоточного решения. Алгоритмы Data Science картографируют локации вблизи и создают подмножества точек доставки, близких друг к другу.

Большинство компаний используют branch-and-bound, динамическое программирование и генетические алгоритмы для получения state-of-the-art решений. Это экономит значительные операционные расходы за счет сокращения числа машин доставки без задержки посылок.

8. Анализ преступности (Crime Analysis)

Карта преступности и анализ преступлений в Испании

Более быстрое расследование и предсказание будущих преступлений в конкретных локациях

Криминальная аналитика — раздел аналитики, использующий статистические инструменты и техники для изучения различных данных с целью быстрего расследования и предсказания преступлений будущего на основе прошлых событий.

Включает анализ внутренних полицейских операций, жертв преступлений, беспорядков, вопросов качества жизни. Инсайты (извлеченные Data Science) используются для патрулирования, профилактики, расследований, прокуратуры, оценки полицейских усилий.

Современные инструменты дают фреймворк для визуализации криминальных сетей и их изучения разными ML-техниками с Google Maps и R-пакетами.

7. Таргетированная реклама (Target Advertising)

Показ рекламы правильной аудитории для снижения стоимости привлечения клиента

Хорошая реклама всегда была одной из главных причин успеха компании. Но не только в промоушене продукта ловкой фразой — важно доставить сообщение правильным людям в правильное время и контекст.

Data Science стал критичен для рекламодателей и маркетологов, которым нужно анализировать тысячи сигналов в реальном времени и доставлять рекламу целевой аудитории в нужные моменты. ML также важен для анализа прошлого поведения пользователя (визиты, поиски, покупки).

Чем больше данных, тем лучше таргетинг. Кейсы таргетированной рекламы:

• Визуальный мерчандайзинг: маркетинговая практика в ритейле — оптимизация презентации товаров/услуг. Освещение, цветовые комбинации, креативные визуальные дисплеи и др. элементы для привлечения внимания.
• Программатик-реклама: автоматизированная покупка и продажа онлайн-рекламных площадей. Позволяет брендам/агентствам покупать показы на сайтах/приложениях издателей за миллисекунды через сложную экосистему.
• Умные ставки (Smart bidding): подмножество автоматизированных стратегий ставок, использующих ML для оптимизации рекламы под более высокую конверсионную ценность при каждом аукционе.

6. Продвинутое распознавание изображений (Advanced Image Recognition)

Распознавание паттернов и различение множественных наборов изображений

Современный Data Science-софт точно распознает человеческие лица и сопоставляет их со всеми картинками в базе. Умно находит особые паттерны — мимику, текстуру. Некоторые программы собирают данные из сложных диаграмм и/или распознают рукописный текст.

Помимо распознавания лиц, инструменты Data Science используют ML для обнаружения объектов в кадре камеры. Определяют формы, цвета, даже измеряют размеры всех объектов в реальном времени, давая детальные инсайты о содержании изображения.

Распознавание изображений и обнаружение объектов применяются в разных сферах: от умных фото-библиотек и таргетированной рекламы до доступности для слабовидящих и расширенных исследовательских возможностей. Тех-гиганты вроде Microsoft и Google активно инвестируют в исследования распознавания образов и смежные приложения.

5. Разработка игр (Game Development)

Улучшение опыта игроков, стратегии вовлечения и выручки

Два главных элемента успешной игры: сюжет и графика. Держат игроков заинтересованными.

Данные, собранные в игре, можно использовать по-разному. Многие компании используют игровую аналитику для получения знаний о желаниях игроков, времени на каждом этапе, самых понравившихся частях.

Data Science используется для создания моделей, усиления ML-алгоритмов, выявления точек оптимизации и трендов для улучшения игрового опыта. Позволяет разработчикам придумывать новые концепции, сюжетные линии, строить интерактивные сценарии на основе полученных ранее данных.

4. Производство (Manufacturing)

Источник изображения: intellipaat

Обеспечивает предупредительное обслуживание и предсказание неисправностей

Применение Data Science в производстве уникально, так как существует много типов производственных единиц, у каждой свои требования.

Data Science в основном используется для извлечения ценной информации из производственных процессов. Эта информация помогает бизнесу максимизировать прибыль, минимизировать риски, анализировать продуктивность.

Например, Raytheon Technologies использует Manufacturing Execution Systems, собирающий и оценивающий данные с цеха. Анализ данных показал: винт в одном модуле должен быть закручен 13 раз. Если 10 или 12 — система выдает ошибку и останавливает установку.

При правильном анализе информацию можно использовать для:

• Оценки частот отказов оборудования
• Выявления энергонеэффективных компонентов
• Оптимизации управления запасами
• Оптимизации площади цеха

Компании вроде GM и Ford оценивают массивы данных — все внутренние и внешние источники, от датчиков и процессоров до качества материалов и производительности — для сокращения времени производства, минимизации энергозатрат и максимизации прибыли.

3. Геномные исследования (Genomics Research)

Помогает лучше понять человеческое здоровье и болезни

За последнее десятилетие биомедицинские проекты и крупномасштабные коллаборации быстро растут. В результате ежегенерируется массивы геномных данных (2000–40 000 петабайт).

Data Science позволяет биоинформатикам и генетикам извлекать практические инсайты из таких огромных и сложных датасетов, чтобы понять, как различия в ДНК влияют на здоровье и болезни.

Используют инструменты Data Science, такие как aligners (выравниватели), для анализа расположения отдельных компонентов ДНК-последовательности. Софт идентифицирует локации, где конкретная геномная последовательность человека отличается от других.

Геномные различия могут варьировать: от единичной «буквы» ДНК до хромосомных аномалий. Анализируя такие различия, исследователи выясняют, что именно вызывает распространенные заболевания, раки и редкие расстройства.

2. Образование (Education)

Повышение успеваемости студентов и методов преподавания

Data Science способен революционизировать образование. Помогает преподавателям применять адаптивные техники обучения, дающие эффективные и кастомизированные учебные пути для вовлечения каждого студента.

Несколько ML-алгоритмов — деревья решений, логистическая регрессия, случайный лес — уже используются для этого.

Data Science также позволяет администраторам анализировать активность и методы преподавания учителей. Дает ценную информацию о сильных и слабых сторонах факультетов. Это помогает учителям улучшаться и выявлять наиболее эффективные методики.

Университет Невады адаптировал методы Data Science для анализа студенческих данных и предсказания успеваемости. Университет Флориды использует техники для выявления паттернов и трендов для кастомизированного студенческого опыта.

1. Открытие и разработка лекарств (Drug Discovery and Development)

Data Science повышает эффективность всего R&D-процесса

Сочетание продвинутой аналитики и вычислительной мощи делает Data Science критически важной базовой дисциплиной в фармацевтических исследованиях.

Интеграция ИИ и ML в открытие лекарств значительно сократила время и повысила эффективность всего R&D-процесса.

Продвинутые инструменты, такие как набор инструментов DeepPurpose, использовали для разблокировки 50+ моделей для предсказания взаимодействия лекарство-мишень (DTI) — базовой задачи в открытии лекарств. DeepPurpose также облегчает простой интерфейс для виртуального скрининга и репурпозинга лекарств.

Data Science-решения от Cognizant помогли нескольким фармакомпаниям улучшить трудоемкий процесс перекрестных ссылок клинических испытаний онкологических препаратов.

Часто задаваемые вопросы

В чем разница между аналитикой данных и Data Science?

Пока аналитика данных фокусируется на просмотре исторических записей в контексте, Data Science фокусируется на создании предиктивных моделей, способных предсказывать или анализировать будущее.

Например, аналитик данных может синтезировать биг-данные для ответа на вопрос «какие продукты принесли больше всего прибыли прошлой осенью?» Data scientist, с другой стороны, может использовать ML для анализа фидбека и поведения клиентов и предсказать, какие продукты и сервисы будут работать лучше в этом году.

Сколько получают data scientists?

По данным US Bureau of Labor Statistics, средняя зарплата data scientists — $111 000 в год. Опытные (уровень менеджера) зарабатывают до $250 000 в год.

Калифорния, Техас, Нью-Йорк, Иллинойс, Вашингтон — штаты с наивысшим уровнем занятости data scientists и специалистов по математическому моделированию.

Каково будущее платформ Data Science?

Принятие платформ Data Science значительно растет. Дает гибкость open source программ и масштабируемость вычислительных ресурсов. Легко выравнивается с множеством data-архитектур.

По отчету Grand View Research, глобальный рынок платформ Data Science достигнет $26 млрд к 2027 г., CAGR 26,9%. Прогресс в ИИ и нейросетях будет ключевым фактором этого феноменального роста.