Data Science: ключевые концепции, типы данных и карьерные возможности

Что такое Data Science (Наука о данных)?

Data Science — междисциплинарная область, использующая научные методы, процессы и системы для сбора, подготовки и анализа структурированных и неструктурированных данных. Она объединяет математику, статистику, базы данных, информатику и компьютерные науки. Данные бывают самых разных типов и объемов.

Почему Data Science выделили в отдельную область?

Главная причина — экспоненциальный рост объемов данных. По прогнозам, к 2020 году каждую секунду будет генерироваться 1,7 МБ данных на человека, а общий объем цифровых данных достигнет 44 триллионов гигабайт. При таких объемах осмысление и хранение данных становится крайне сложным. Именно поэтому Data Science признана отдельной дисциплиной.

Data Science вокруг нас

Компании используют Data Science для понимания и оптимизации внутренних процессов. Google персонализирует рекламу через AdSense, таргетируя аудиторию. Uber рассчитывает тарифы, скидки и их получателей. Airbnb помогает определять оптимальную арендную плату. Простыми словами: клиенты и пользователи — это сырой материал, а Data Science помогает его интерпретировать.

Data Science в госорганизациях и NGO

Данные — критически важный актив для госорганов. Ежедневно собирается все больше информации, и Data Science помогает её систематизировать и хранить. Некоммерческие организации тоже используют эти методы. WWF применяет Data Science для статистической визуализации проблем дикой природы, делая свою миссию более эффективной.

Карьерные возможности в Data Science

С ростом области вакансий становится экспоненциально больше. Анализ LinkedIn показывает большой рост за последние 30 лет. Заинтересованным доступны бесплатные онлайн-курсы.

Ключевые компоненты Data Science

1. Программирование

Для организации и анализа данных используется программирование. Два самых популярных языка — Python и R.

Python: самый читаемый и гибкий язык. Мощные библиотеки: NumPy, pandas, Matplotlib, TensorFlow, IPython. Быстрее и легче в обучении.

R: ориентирован на статистику и графику. Широко используется статистиками и аналитиками данных. Open Source.

2. Данные и их типы

Структурированные данные: высоко организованы, легко представимы в таблицах, хранятся в БД.

Неструктурированные данные: без четкой модели: тексты, даты, числа, email, PDF, изображения, видео.

Естественный язык: письменные языки (английский, испанский, урду и др.) — подтип неструктурированных данных.

Изображения, видео, аудио: также неструктурированы. Генерация через камеры и микрофоны, массовое использование в смартфонах.

Графовые данные: математические структуры (вершины и ребра) для отображения связей между сущностями.

Машинно-генерируемые: создаются компьютерными системами без участия людей.

3. Статистика, вероятность и их связь с Data Science

Статистика: раздел математики для сбора, интерпретации, анализа, представления и организации данных. Использует программирование для анализа.

Вероятность: мера возможности события (от 0 до 1).

Связь с Data Science: оба являются фундаментом обработки и анализа данных для их правильной интерпретации.

4. Машинное обучение (Machine Learning)

Раздел компьютерных наук, выросший из ИИ. Использует статистические методы, чтобы компьютеры могли обучаться без явного программирования. Три главные цели: обучение представлениям изменений, обобщение производительности на похожие задачи, улучшение производительности и предотвращение деградации. В Data Science применяется в алгоритмах, регрессии, классификации для предсказания результатов.

5. Big Data

Данные такого объема, что их хранение и обработка требуют множества компьютеров. Характеризуются тремя V:

• Volume (Объем): от терабайт до зеттабайт.
• Variety (Разнообразие): смесь типов данных (структурированные + неструктурированные).
• Velocity (Скорость): постоянно растущий темп генерации данных.

В Data Science данные группируются во многие формы. Big Data — это огромные объемы, необрабатываемые традиционными приложениями. Инструменты: Hadoop, Spark, R, Java и др.