Big Data лексикон: ключевые термины, которые должен знать каждый дата-энтузиаст

Big data наполнен специализированной терминологией. Понимание самых частых терминов помогает вам понимать, контрибьютить и влиять на дата-ориентированные разговоры. Присоединяйтесь к беседе об эволюции данных на datamakespossible.com.

Давайте демистифицируем ключевые термины, с которыми вы столкнетесь — и представим пару, которых вы возможно никогда не слышали.

Data Scientist (Научик данных)

Data scientist сочетает научную строгость, бизнес-инсайт и креативное решение проблем. Используя алгоритмы, статистические модели и программные инструменты, они извлекают действенную ценность из сложных датасетов, часто через машинное обучение (ML) или искусственный интеллект (ИИ) техники.

Гетероскедастичность (Heteroscedasticity)

В статистике гетероскедастичность относится к данным, чья вариабельность меняется через диапазон измерений. На практике это значит, что дата-точки могут экспоненциально сдвигающие паттерны и непредсказуемые всплески — частое в высокоскоростных потоках вроде соцмедиа-фидов или реал-тайм сенсорных логов. Например, виральный пост может привлечь тысячи комментариев за секунды, затем затухать, создавая волатильный дата-стрим, трудный для моделирования простыми линейными предположениями.

Машинное обучение (ML)

ML — подмножество компьютерной науки, обучающее алгоритмы распознавать паттерны в сырых данных. Оно питает три «C» big data: классификацию (присвоение предметов категориям), кластеризацию (группировку похожих предметов) и коллаборативную фильтрацию (генерацию рекомендаций). Большинство коммерческих ML-приложений опираются на shallow learning, в то время как deep learning — интегральная часть истинного ИИ — использует многослойные нейросети.

Искусственный интеллект (ИИ)

ИИ расширяется за ML, позволяя системам само-адаптироваться, учиться и принимать решения, эмулирующие человеческое познание. Deep learning модели — краеугольный камень ИИ, позволяя компьютерам обрабатывать сложные паттерны в тексте, изображениях и речи.

Виртуальная реальность (VR)

VR погружает пользователей в полностью синтетическую среду, типично доступную через гарнитуру. Пока популярна в гейминге, VR также предлагает коммерческие приложения вроде виртуальных тренировочных симуляций.

Дополненная реальность (AR)

AR накладывает цифровую информацию на реальный мир, улучшая восприятие и взаимодействие. Истории успеха включают мобильные гейминг-приложения, смешивающие виртуальные объекты с живыми камера-видами.

Обработка естественного языка (NLP)

NLP оснащает компьютеры интерпретироватьspoken или written язык. Ранний «shallow» NLP парсил предложения на токены и применял rule-based логику. Современный deep-learning NLP учитывает весь контекст, позволяя нюансированный сентимент-анализ и конверсационный ИИ.

Распознавание изображений (Image Recognition)

Распознавание изображений идентифицирует визуальные элементы в фото или видео. Оно питает OCR для извлечения текста, тегирование объектов и детекцию лиц — фичи, теперь используемые в автомобильных системах мониторинга водителя.

Структурированные, полуструктурированные и неструктурированные данные

Структурированные данные аккуратно ложатся в таблицы; полуструктурированные, как email, имеют и заголовки, и свободную форму тела; неструктурированные — текст, аудио, изображения — не имеют фиксированной схемы. Прогресс за прошлое десятилетие теперь позволяет робастный анализ всех трех типов данных.

Data Lake (Озеро данных)

Data lake хранит сырые, необработанные данные по низкой стоимости, позволяя долгосрочное хранение петабайт информации. Это аналогично кладовой сырого ингредиента, из которой вы извлекаете только нужное для конкретного анализа.

База данных (RDBMS)

Реляционные базы данных (Oracle, MySQL, SQL Server) обрабатывают высокообъемные транзакционные нагрузки (OLTP). Они отличаются быстрыми чтениями и записями для повседневных приложений вроде e-commerce.

Хранилище данных (EDW)

Enterprise data warehouse консолидирует большие объемы очищенных данных для аналитических запросов. EDWs поддерживают стратегическое принятие решений, такое как идентификация топ-продуктовых линий или регионов.

Визуализация (Visualization)

Инструменты визуализации переводят сложную аналитику в интуитивные дашборды. С drag-and-drop интерфейсами и SQL-коннективностью даже не-технические пользователи могут создавать отчеты, раскрывающие инсайты вроде квартальных трендов продаж или производительности продукта.

Вооруженные этой терминологией, вы готовы обсуждать, как data lakes, ML и ИИ перестраивают мир. Делитесь новым лексиконом у кулера или присоединяйтесь к беседе на datamakespossible.com.

Эта статья подготовлена в партнерстве с Western Digital.

Автор — Fellow и Chief Data Scientist в Western Digital, ведущий Big Data платформы и передовые аналитики для полупроводникового производства.