Почему непрерывная передача данных в облако стоит больше, чем вы думаете

В отраслях, которые все чаще принимают решения в режиме реального времени, таких как производство, транспорт, телекоммуникации, общественная безопасность и т. д., данные больше не создаются случайными пакетами. Он поступает постоянно и в огромных масштабах от датчиков, машин, мобильных устройств и цифровых приложений. Хотя централизация этих данных в облаке или центре обработки данных для анализа когда-то казалась эффективной, объем, скорость и критичность сегодняшних потоков данных выявили серьезные ограничения при использовании традиционного подхода, основанного на транспортном соединении.

В течение многих лет организации, которые регулярно имеют дело с такими потоками данных и хотят использовать их для анализа в реальном времени, переносили анализ этих данных на периферию, где они создаются. По мере роста объемов данных и скорости их создания многие организации все чаще оснащают свои периферийные системы передовым интеллектом, позволяющим адаптивно реагировать на данные, полученные в результате анализа в режиме реального или близкого к реальному времени.

См. также: За пределами задержки:следующий этап адаптивного периферийного интеллекта

Ограничения транзитной передачи данных

Передача данных в централизованные объекты имела практическое применение на протяжении десятилетий, когда объемы данных и скорость их создания были скромными. Данные будут храниться и анализироваться для принятия немедленных мер или для понимания исторических тенденций.

Эта модель больше не работает в отраслях с большими объемами непрерывных потоковых данных. Затронутые отрасли включают в себя:

• Организации финансовых услуг пытаются оперировать бесконечными потоками транзакционных данных.
• Производственные компании пытаются разобраться в данных Интернета вещей и других датчиков оборудования на производственных линиях.
• Интернет-магазины пытаются воспользоваться моментом и представить покупателям актуальные товары на своем веб-сайте.
• Автономные транспортные средства пытаются интерпретировать видеопотоки, чтобы избежать дорожных препятствий и соблюдать правила дорожного движения.

В этих и других случаях одной из наиболее насущных проблем при транспортировке данных является перегрузка сети. . Высокочастотные источники данных, такие как датчики Интернета вещей, HD-видеопотоки, автономные системы или промышленное оборудование, могут производить гигабайты или даже терабайты данных в час. Попытка направить это в центральное расположение приводит к перегрузке доступной полосы пропускания, увеличению затрат и снижению общей производительности сети. Увеличение пропускной способности помогает, но плохо масштабируется, что приводит к увеличению затрат.

Кроме того, есть задержка. , который является тихим убийцей оперативности в реальном времени. Когда для обработки необработанным данным приходится преодолевать большие расстояния, двусторонняя задержка может привести к тому, что аналитические системы начнут действовать над ними. В критически важных для безопасности или срочных сценариях, таких как обнаружение неисправностей в коммунальных предприятиях, контроль качества на производственных линиях или профилактическое обслуживание транспортного парка, миллисекунды имеют значение. Архитектура централизованной обработки просто не может гарантировать детерминированную производительность.

Еще одна проблема, которую часто упускают из виду, — это неэффективность затрат. . Облачное хранилище, плата за передачу данных и вычислительные ресурсы становятся дороже, когда большие наборы данных перемещаются постоянно. Многие организации обнаруживают, что платят за хранение и анализ данных, которые являются избыточными, малоценными или нерелевантными. Фактически, исследования обычно показывают, что большая часть необработанных данных датчиков никогда не используется, однако при обратной передаче они по-прежнему требуют полных затрат на транспортировку и хранение.

Риски безопасности и конфиденциальности также растут по мере увеличения объема данных. Перемещение нефильтрованных данных по глобальным сетям расширяет поверхность атаки и требует строгого шифрования, мониторинга и контроля соответствия. Конфиденциальные данные, такие как информация о местоположении, оперативная телеметрия или модели использования клиентов, могут иметь нормативные последствия при передаче через регионы или границы облака. Для некоторых отраслей уже одно это делает централизованную транзитную транспортировку непрактичной.

Наконец, централизованная архитектура ограничивает устойчивость. . Если соединение потеряно или производительность ухудшится, системы, зависящие от облака для аналитики, могут не принять своевременные решения. Это неприемлемо в периферийных средах, таких как удаленные горнодобывающие предприятия, морские энергетические платформы, интеллектуальные сети или транспортные системы, которые не могут приостановить работу до восстановления сети.

Подробнее о проблемах передачи данных

Короче говоря, по мере распространения систем реального времени аналитика и принятие решений должны приближаться к источнику событий, поддерживать состояние, выполняться с минимальной задержкой и полной согласованностью.

В недавнем блоге Volt Active Data проблемы с обратной передачей данных были рассмотрены в перспективе и обсуждалось, как адаптивные периферийные интеллектуальные системы их устраняют.

В блоге отмечается, что, хотя централизованная обработка данных обеспечивает некоторое удобство управления, она влечет за собой существенные скрытые затраты. К ним относятся высокие затраты на пропускную способность и хранение данных из-за транспортировки и хранения больших наборов данных, повышенное энергопотребление и связанные с этим выбросы углекислого газа, проблемы с задержкой сети и надежностью (особенно для приложений реального времени), а также повышенный риск возникновения единых точек сбоя, когда вся обработка зависит от централизованной инфраструктуры.

Чтобы преодолеть эти проблемы, организации перемещают интеллект на периферию:обрабатывают и фильтруют данные ближе к их источнику, поэтому на восходящий поток передается только значимая, сокращенная информация. Такая периферийная модель снижает затраты на передачу и хранение, значительно снижает задержку, повышает эксплуатационную устойчивость и позволяет создавать более экологичные и устойчивые архитектуры.

Заключительное слово

По мере того, как организации внедряют все больше автоматизации, искусственного интеллекта и автономных операций на периферии, модель доставки всего в центр обработки данных становится все более неустойчивой. Будущее за гибридными и периферийными архитектурами, в которых данные обрабатываются локально, уменьшаются или пополняются в источнике, а в восходящий поток передаются только ценные выходные данные или агрегаты.