Неструктурированные данные: скрытые затраты для отраслей — как превратить их в ценность

В каждой отрасли инженеры данных и ученые данные стремятся лучше использовать данные, скрытые в файловых шарах и запертые в разных системах. Им нужны эти данные для создания воркфлоу для ИИ и аналитических инструментов, чтобы узнать больше о своих рынках, создавать новые продукты и сервисы или улучшать бизнес-операции и отношения с клиентами.

Другая сторона этого уравнения — что корпоративные данные несут обширный риск, который не хорошо понят бизнесом, ни даже внутри ИТ. Например:

• Хранение данных и бэкапы составляют как минимум 30% большинства ИТ-бюджетов, когда деньги нужно тратить на инновации, кибербезопасность и отличные клиентские опыты;
• Большинство неструктурированных данных не используется для бизнес-ценности;
• Большой процент неструктурированных данных, до 80%, редко используется и занимает дорогое место для хранения;
• Многие организации не имеют четких политик удержания и удаления, ни регулярных очистки своих данных из страха, что департаменты отреагируют негативно. Только дубликаты данных могут легко составлять 30–40% среднего корпоративного данных фуутпринта;
• Неуправляемые и неизвестные неструктурированные данные имения через гибридные ИТ-силосы создают дополнительные риски безопасности и комплаенса.

Вот взгляд на несколько отраслей и их требования и вызовы управления данными, как извлеченные из наших лет работы с клиентами над стратегиями управления неструктурированными данными.

Здравоохранение: сокращение затрат без потери доступа к жизненно важным данным

Здравоохранение — данные зверь. По некоторым оценкам, организации здравоохранения — крупнейшие производители данных в мире, движимые в основном объемом разнообразных клинических изображений и машинных данных. Содержание затрат — это всегда было и остается директом в здравоохранении, и еще более теперь с изменениями в Medicare реимбурсменте. Организации здравоохранения также сталкиваются с жесткими регуляциями удержания данных и трудностями удаления данных из-за юридических и исследовательских требований.

Одна ведущая система здравоохранения, управляющая более 16 ПБ NAS-хранилища, обратилась к управлению неструктурированными данными для анализа и архивирования холодных данных в Azure Blob, снижая давление на свои первичные системы хранения. Без прерывания пользователей, ИТ-организация переместила более 2 ПБ данных, помогая отложить дорогие обновления железа.

Для организаций с требованиями цепочки хранения, распространенными в регулируемых отраслях вроде здравоохранения, видимость в локацию файлов и метаданные критична. Наконец, так как комплаенс — вечная потребность, данная высокая чувствительность вокруг пациентских данных, полная видимость неструктурированных данных, поиск и аудит дают ИТ-директорам здравоохранения больший контроль для снижения рисков.

Лайф саенс: превращение хаоса данных в ускорение исследований

Организации лайф саенс также одна из крупнейших данных-производящих секторов. Они часто имеют дело с миллионами маленьких, но высокоценных файлов, непредсказуемыми данными взрывами и необходимостью долгосрочного удержания без четких политик удаления. Эти факторы усложняют планирование ИТ-инфраструктуры.

В биофармацевтике и биотех лабораториях взрыв TIF файлов изображений от научных инструментов создает дополнительные вызовы. В одном примере компания перешла от локально хранимых исследовательских данных к централизованному NAS массиву. Чтобы держать шаг с быстрым ростом, ИТ-команда развернула cloud tiering в Azure и использовала аналитику данных для выявления и перемещения устаревших данных. Это предотвратило överprovisioning и помогло ИТ поддерживать исследовательские пайплайны без бутылочных горлышек.

Корпоративные ИТ-команды обычно не могут видеть информацию о своих данных, хранящихся в одном месте, сказал Энтони Фиоре, эксперт по решениям хранения в AWS. Детальная видимость, доставляемая софтом управления данными, волнует ИТ-людей в лайф саенс и других секторах: «У нас клиенты с NAS шарами, содержащими множество силосов данных в одной шаре, и трудно знать, как они могут разбить это по линиям бизнеса или если они вообще заботятся об этих данных. Но как только они видят все метаданные, они получают лучшее понимание того, как все работает, и тогда могут тегать и искать это позже».

Финансовые услуги: устранение риска и питание ИИ чистыми, управляемыми данными

Финансовые институты работают под строгими регуляторными ограничениями (например, SEC, FINRA, GDPR) и часто обременены десятилетиями роста файловых шар. Данные спровл, децентрализованный ИТ-контроль и комплаенс делают управление файл-базированными данными крайне сложным. Также финансовые институты должны обеспечивать, что ИИ-модели, используемые для кредитного риска, обнаружения мошенничества или трейдинга, управляются соответствующе и свободны от предвзятости и устаревших данных. Иметь систематический способ понимать, очищать, классифицировать данные и создавать безопасные и мониторимые ИИ-данные воркфлоу — растущее требование.

Для одной мультинациональной страховой фирмы переход в Azure был не просто о экономии затрат, но также о модернизации, аналитике и ИИ-готовности. Они использовали управление неструктурированными данными для снижения потребностей в емкости на дорогом первичном хранении в дата-центре, тиринг более 600 ТБ в низкозатратное облачное объектное хранение. Они также используют облачные инструменты для разработки ИИ-усиленных страховых продуктов, с неструктурированными данными, формирующими критичную часть тех предиктивных моделей. Способность классифицировать и сегментировать неструктурированные данные до ИИ-ингеста критична для управления затратами и доставки точных результатов.

См. также: Побег от ловушки хранения данных в реальном времени визуальном интеллекте

Штат и местное правительство: расширение жизни инфраструктуры и усиление надзора за данными

Публичные сектор ИТ-организации склонны иметь стареющую инфраструктуру и более высокий процент legacy приложений чем частный сектор. Они хотят модернизировать, но бюджеты обычно туговы, и минимальное облачное внедрение из-за политик безопасности, наряду с юридическими мандатами, требующими удержание данных без четких путей удаления. ИТ-лидеры должны балансировать доставку сервисов с строгими требованиями комплаенса.

Для штатных агентств архивирование файлов в облако помогает снизить зависимость от стареющего железа. Видимость в даты последней модификации/доступа позволяет ИТ перемещать только редко используемые данные с высокопроизводительного хранения. В то же время, интеграция хранения и систем управления данными с инструментами безопасности и комплаенса критична для обеспечения безопасного и аудируемого доступа. Хотя внедрение тиринга данных остается осторожным, многие агентства используют отчетность для построения кейса для политик жизненного цикла неструктурированных данных, особенно вокруг стагнационного департаментального данных.

Инженерия и архитектура: выигрывайте больше проектов, разблокируя скрытую ценность данных

Инженерные и дизайн фирмы генерируют неструктурированные данные в массивном масштабе, особенно из CAD, GIS и 3D-моделирующих файлов. Эти файлы большие и трудны для управления, особенно через распределенные команды и унаследованные legacy системы от M&A активности. Эти фирмы должны сохранять исторические проектные данные для референса, лиабилити и реюза. Одна глобальная фирма, управляющая более 6 ПБ, использует управление неструктурированными данными для идентификации и перемещения проектных файлов старше трех лет в Cloudian архив, бэкап в Azure. Это сохраняет производительность на активных HPE массивах в то время как сохраняет доступность. В одном случае запросы через их файловые данные хранилища помогли им быстро локализовать данные почвенных тестов для проекта в зоне землетрясений, экономя время и поддерживая критический инфраструктурный дизайн.

По мере продолжения интеграции приобретений, фирма использует аналитику для оценки только что унаследованных файловых серверов. Эта видимость позволяет им приоритизировать что удержать, мигрировать или архивировать. Их цель — в конечном счете индексировать все неструктурированные данные, позволяя ИИ-базированное моделирование и снижение знаний силосов через бизнес-юниты.

Энергетика: улучшение полевой эффективности и комплаенса с централизованными данными

Эти компании сталкиваются с ограничениями удаленных сайтов, переменной полосой пропускания, комплаенсом с международными безопасностными и операционными регуляциями, и растущей необходимостью поддерживать данные-ориентированные удаленные диагностики и цифровые двойники.

В одной компании решение принять управление неструктурированными данными пришло от необходимости списать краевое хранение через сотни удаленных локаций. С видеологами, чертежами и оффшорными записями обслуживания накапливающимися, они начали архивировать холодные данные в Azure для централизации и контроля своих неструктурированных данных.

С chargeback моделями на месте, файловые данные инсайты стали критичными для департаментальной ответственности. Долгосрочная цель — поддерживать воркфлоу данных обследования и инспекции, вроде подводных ROV изображений, в ИИ-готовые среды для предиктивного обслуживания и комплаенса.

Полупроводники / Производство: защита ИП при сокращении дорогого хранилища фуутпринта

Полупроводниковые фирмы должны защищать высокоценный ИП, управлять глобально распределенными данными и придерживаться строгих экспорт-контроль и безопасности требований, в то время как обеспечивая инженерам высокопроизводительный доступ к активным датасетам.

Глобальный полупроводниковый производитель использует высокоспециализированное сканирующее оборудование, генерирующее огромные объемы проприетарных изображений данных. С 97% данных все еще хранящихся он-премис, им нужен был эффективный метод архивирования старых скан-данных без компромисса защиты ИП или производительности извлечения. Паря управление неструктурированными данными с Cloudian S3 хранением, они реализовали холодные данные политики для перемещения любых файлов, не доступных в течение 12 месяцев, с первичных серверов. С сохранением символических ссылок и отслеживанием метаданных, компания обеспечила комплаенс с внутренними протоколами обработки ИП и снизила зависимость от дорогого первичного NAS.

Заключение: Трансформируйте неструктурированные данные в стратегический бизнес-актив

Через отрасли, управление неструктурированными данными больше не просто тактика экономии затрат, но стратегический энейблер. Будь то поддержка ИИ-воркфлоу в страховании, поддержание регуляторного комплаенса в здравоохранении или оптимизация инфраструктуры в производстве, организации признают необходимость сочетать данный гвернанс с гибким доступом и перемещением данных.