Управление данными: краеугольный камень успешного ИИ

Дейв Смит, глава GDPR-технологий в SAS UK & Ireland, объясняет, как управление данными подкрепляет успех ИИ-систем.

ИИ все глубже встраивается в повседневную жизнь, однако заблуждения о технологии могут топливо недоверие. Профессор Джим Аль-Халили, входящий президент Британской ассоциации науки, предупреждает: публичный бэклэш, похожий на ранние GMO-дебаты, может возникнуть, если ИИ не доставляется с большей прозрачностью и публичным вовлечением.

Помимо доверия, непроверенные автономные модели несут риск контроля. 2010 Flash Crash, когда US рынки упали на 9% за 36 минут, подсветил, как алгоритмический трейдинг усилил волатильность. Регуляторный надзор теперь требует, чтобы модели мониторились и их выходы были аудитабельны.

Использование ИИ для добра

Когда применен ответственно, ИИ может трансформировать здравоохранение — усиливая детекцию рака через быстрый анализ изображений — или поддерживать консервацию, идентифицируя следы дикой жизни. Реализация этих выгод требует фреймворка, обеспечивающего справедливость, подотчетность, прозрачность и объяснимость (FATE). В этой статье мы фокусируемся на столпе прозрачности, который сильно влияет на то, как данные управляются.

Производительность ИИ ограничена качеством входных данных. Построение ИИ-решения типично следует трем ключевым стадиям:

• Очистка данных — удаление нерелевантных или ошибочных записей, способных сместить модель.
• Трансформация и обогащение — объединение разрозненных источников и создание производных переменных для кормления алгоритма.
• Деплоймент — применение обученной модели к живым данным для принятия решений в реальном времени.

Каждая стадия может добавить ценность, но также изменить исход. Например, элиминация выбросов при очистке может улучшить стабильность модели для большинства случаев, но также может стереть редкие, но критические сигналы. Открытие Джослин Белл-Бернелл пульсаров в 1970-х иллюстрирует опасность отбрасывания выбросов — она заметила слабый сигнал в одной из 100 000 точек данных, доказав его научную значимость.

Путь данных

Качество данных также жизненно важно для избежания неловких ошибок. В 2014 Bank of America отправил кредитное предложение на невалидное имя, «Lisa Is A Slut McXxxxxx», после получения коррумпированных данных от Golden Key International Honour Society. Жестокая валидация могла бы предотвратить ошибку.

Трансформация движет данные из высоко-нормализованных источников в одиночную плоскую таблицу, предпочитаемую дата-сайентистами. Этот шаг часто включает добавление производных переменных и должен быть имплементирован осторожно, чтобы не вводить ошибки, способные误导 модель.

Деплоймент — финальная стадия, прямо влияющая на бизнес-исходы. Модели имеют конечный срок полезности; задержанная продакшн может сделать их устаревшими. Более того, GDPR статья 22 запрещает аналитический профилинг персональных данных без строгих условий, таких как явное согласие. Контролируемый деплоймент предоставляет аудит-трейл, показывающий, какие данные покормили модель и какие аналитики были применены, обеспечивая регуляторный комплаенс.

Коротко: надежное управление данными — фундамент, позволяющий ИИ доставлять доверенные, справедливые и эффективные результаты. Понимание каждого шага обработки данных поддерживает прозрачность — ядро ответственного ИИ.

Автор блога — Дэвид Смит, глава GDPR-технологий, SAS UK & Ireland.