Неструктурированные данные:скрытые издержки для отраслей – как превратить их в ценность

В каждой отрасли инженеры и ученые, работающие с данными, стремятся лучше использовать данные, спрятанные в общих файловых ресурсах и заблокированные в различных системах. Эти данные нужны им для создания рабочих процессов для инструментов искусственного интеллекта и аналитики, чтобы они могли больше узнать о своих рынках, создавать новые продукты и услуги или улучшать бизнес-операции и отношения с клиентами.

Другая сторона этого уравнения заключается в том, что корпоративные данные несут значительный риск, который не совсем осознается ни бизнесом, ни даже ИТ-специалистами. Например:

• Хранение данных и резервное копирование составляют не менее 30 % большинства ИТ-бюджетов, когда деньги необходимо тратить на инновации, кибербезопасность и отличное качество обслуживания клиентов;
• Большинство неструктурированных данных не используются для получения коммерческой выгоды;
• Большой процент неструктурированных данных, до 80 %, используется редко и занимает дорогое место для хранения;
• Многие организации не имеют четких политик хранения и удаления и не проводят регулярную очистку своих данных из опасения, что отделы могут отреагировать. Дублирующиеся данные сами по себе могут легко составлять от 30 до 40 % среднего объема данных предприятия;
• Неуправляемые и неизвестные неструктурированные массивы данных в гибридных ИТ-хранилищах создают дополнительные риски для безопасности и соответствия требованиям.

Вот обзор нескольких отраслей, их требований и проблем в области управления данными, основанный на результатах нашей многолетней работы с клиентами над стратегиями управления неструктурированными данными.

Здравоохранение:сокращение расходов без ограничения доступа к жизненно важным данным  

Здравоохранение — это зверь данных. По некоторым оценкам, организации здравоохранения являются крупнейшими в мире производителями данных, что во многом обусловлено объемом разнообразных клинических изображений и машинных данных. Сдерживание расходов было и всегда было серьезной задачей в здравоохранении, и тем более сейчас, с изменениями в возмещении расходов по программе Medicare. Организации здравоохранения также сталкиваются со строгими правилами хранения данных и трудностями при удалении данных из-за юридических и исследовательских требований. 

Одна из ведущих систем здравоохранения, управляющая более чем 16 ПБ хранилища NAS, обратилась к управлению неструктурированными данными для анализа и архивирования «холодных» данных в Azure Blob, что снизило нагрузку на основные системы хранения. Не отвлекая пользователей, ИТ-организация переместила более 2 ПБ данных, что помогло отсрочить дорогостоящее обновление оборудования. 

Для организаций с требованиями к цепочке поставок, которые распространены в регулируемых отраслях, таких как здравоохранение, прозрачность расположения файлов и метаданных имеет решающее значение. Наконец, поскольку соблюдение требований является постоянной необходимостью, учитывая высокую конфиденциальность данных пациентов, полная видимость неструктурированных данных, поиск и аудит дают ИТ-директорам здравоохранения больший контроль и снижение рисков.

Науки о жизни:превращаем хаос данных в ускорение исследований

Организации, занимающиеся науками о жизни, также являются одним из крупнейших секторов, производящих данные. Они часто имеют дело с миллионами небольших, но ценных файлов, непредсказуемыми пакетами данных и необходимостью долгосрочного хранения без четкой политики удаления. Эти факторы усложняют планирование ИТ-инфраструктуры.

В биофармацевтических и биотехнологических лабораториях увеличение количества файлов изображений TIF из научных инструментов создает дополнительные проблемы. В одном примере компания перешла от локального хранения исследовательских данных к централизованному массиву NAS. Чтобы идти в ногу с быстрым ростом, ИТ-команда развернула многоуровневое облако в Azure и использовала анализ данных для выявления и перемещения устаревших данных. Это предотвратило избыточное выделение ресурсов и помогло ИТ-специалистам поддерживать исследовательские процессы без узких мест. 

По словам Энтони Фиоре, эксперта по решениям хранения данных в AWS, корпоративные ИТ-команды обычно не могут видеть информацию о своих данных, хранящуюся в одном месте. Детальная видимость, обеспечиваемая программным обеспечением для управления данными, интересна ИТ-специалистам в области медико-биологических наук и других секторах:"У нас есть клиенты с общими ресурсами NAS, которые содержат множество разрозненных данных в одном общем ресурсе, и трудно понять, как они могут разбить их по направлениям бизнеса или вообще заботятся ли они об этих данных. Но как только они увидят все метаданные, они лучше поймут, как все работает, а затем смогут пометить их и выполнить поиск позже".

Финансовые услуги:устраните риски и используйте искусственный интеллект с помощью чистых, управляемых данных

Финансовые учреждения работают в условиях жестких нормативных ограничений (например, SEC, FINRA, GDPR) и часто обременены десятилетиями роста общего количества файлов. Разрастание данных, децентрализованный ИТ-контроль и соблюдение требований делают управление файловыми данными чрезвычайно сложным. Кроме того, финансовые учреждения должны гарантировать, что модели искусственного интеллекта, используемые для кредитного риска, обнаружения мошенничества или торговли, управляются надлежащим образом и не содержат предвзятости и устаревших данных. Наличие систематического способа понимания, очистки, классификации данных и создания безопасных и контролируемых рабочих процессов с данными ИИ является растущей потребностью. 

Для одной транснациональной страховой компании переход на Azure означал не только экономию средств, но и модернизацию, аналитику и готовность к использованию искусственного интеллекта. Они использовали неструктурированное управление данными, чтобы снизить потребность в емкости дорогостоящего основного хранилища в центре обработки данных, переведя более 600 ТБ на более дешевое объектное облачное хранилище. Они также используют облачные инструменты для разработки страховых продуктов с использованием искусственного интеллекта, при этом неструктурированные данные составляют важную часть этих прогнозных моделей. Возможность классифицировать и сегментировать неструктурированные данные до их обработки ИИ имеет решающее значение для управления затратами и получения точных результатов.

См. также: Как избежать ловушки хранения данных в визуальном интеллекте в реальном времени

Государственные и местные органы власти:продлить срок службы инфраструктуры и усилить контроль за данными

ИТ-организации государственного сектора, как правило, имеют устаревшую инфраструктуру и более высокий процент устаревших приложений, чем частный сектор. Они хотят модернизироваться, но бюджеты обычно ограничены, а внедрение облачных технологий минимально из-за политик безопасности, а также юридических требований, требующих хранения данных без четких путей удаления. ИТ-руководителям необходимо сбалансировать предоставление услуг со строгими требованиями соответствия. 

Государственным учреждениям архивирование файлов в облако помогает снизить зависимость от устаревшего оборудования. Возможность просмотра дат последнего изменения/доступа позволяет ИТ-специалистам перемещать только редко используемые данные из высокопроизводительного хранилища. В то же время интеграция систем хранения и управления данными с инструментами безопасности и соответствия требованиям имеет решающее значение для обеспечения безопасного и проверяемого доступа. Несмотря на то, что внедрение многоуровневого хранения данных остается осторожным, многие агентства используют отчетность для обоснования политики неструктурированного жизненного цикла данных, особенно в отношении застойных данных ведомств.

Инжиниринг и архитектура:выигрывайте больше проектов, раскрывая скрытую ценность данных

Инженерные и дизайнерские фирмы генерируют неструктурированные данные в больших масштабах, особенно из файлов САПР, ГИС и 3D-моделирования. Эти файлы большие, и ими сложно управлять, особенно в распределенных командах и унаследованных от деятельности слияний и поглощений системах. Этим фирмам необходимо сохранять исторические данные проекта для справки, ответственности и повторного использования. Одна глобальная фирма, управляющая более чем 6 ПБ, использует управление неструктурированными данными для идентификации и перемещения файлов проекта старше трех лет в архив Cloudian, резервную копию которого можно создать в Azure. Это сохраняет производительность активных массивов HPE, сохраняя при этом доступность. В одном случае запросы к файловым хранилищам данных помогли им быстро найти данные испытаний почвы для проекта в сейсмоопасном районе, сэкономив время и поддержав проектирование критически важной инфраструктуры.

Продолжая интегрировать приобретения, компания использует аналитику для оценки недавно унаследованных файловых серверов. Такая прозрачность позволяет им расставить приоритеты в том, что следует сохранить, перенести или заархивировать. Их цель — в конечном итоге индексировать все неструктурированные данные, что позволит осуществлять моделирование на основе искусственного интеллекта и сократить разрозненность знаний в различных бизнес-подразделениях.

Энергетика:повысьте эффективность эксплуатации и соответствие требованиям централизованных данных

Эти компании сталкиваются с ограничениями удаленности объектов, переменной пропускной способностью, соблюдением международных правил безопасности и эксплуатации, а также растущей потребностью в поддержке удаленной диагностики на основе данных и цифровых двойников.

В одной компании решение внедрить неструктурированное управление данными было вызвано необходимостью отказаться от периферийных хранилищ в сотнях удаленных мест. Накопив видеожурналы, чертежи и записи оффшорного технического обслуживания, они начали архивировать холодные данные в Azure, чтобы централизовать и контролировать свои неструктурированные данные.

Благодаря внедрению моделей возврата платежей анализ данных файлов стал иметь решающее значение для подотчетности подразделений. Долгосрочная цель — поддержать рабочие процессы с данными исследований и инспекций, например подводными изображениями ROV, в средах, готовых к использованию искусственного интеллекта, для профилактического обслуживания и соблюдения требований. 

Полупроводники/производство:защитите интеллектуальную собственность и сократите затраты на хранение данных

Производители полупроводников должны защищать ценную интеллектуальную собственность, управлять глобально распределенными данными и соблюдать строгие требования к экспортному контролю и безопасности, обеспечивая при этом высокопроизводительный доступ инженеров к активным наборам данных.

Мировой производитель полупроводников использует узкоспециализированное сканирующее оборудование, которое генерирует огромные объемы собственных данных изображений. Поскольку 97% данных по-прежнему хранились локально, им требовался эффективный метод архивирования старых данных сканирования без ущерба для защиты IP или производительности поиска. Объединив управление неструктурированными данными с хранилищем Cloudian S3, они внедрили политику холодных данных, позволяющую перемещать любые файлы, к которым не было доступа в течение 12 месяцев, с основных серверов. Благодаря сохранению символических ссылок и отслеживанию метаданных компания обеспечила соответствие внутренним протоколам обработки IP-адресов и снизила зависимость от дорогостоящего основного NAS.

Вывод:превратите неструктурированные данные в стратегический бизнес-актив

Во всех отраслях управление неструктурированными данными больше не является просто тактикой экономии, а стратегическим инструментом. Будь то поддержка рабочих процессов ИИ в страховании, соблюдение нормативных требований в здравоохранении или оптимизация инфраструктуры на производстве, организации осознают необходимость сочетать управление данными с гибким доступом к данным и их перемещением.