ETSI представляет первый план стандарта безопасности AI

ETSI, европейский орган, устанавливающий стандарты для телекоммуникаций, вещания и электронных коммуникаций, опубликовал 24-страничный отчет, закладывающий основу для единого стандарта безопасности AI.

Отчет под названием ETSI GR SAI 004, подготовленный Группой спецификаций индустрии по обеспечению безопасности искусственного интеллекта (SAI ISG), начинается с формулировки ключевой проблемы: как защищать AI-ориентированные системы. Он фокусируется на машинном обучении и рассматривает конфиденциальность, целостность и доступность на протяжении всего жизненного цикла ML. Документ также подсвечивает более широкие вопросы, такие как предвзятость, этика и объяснимость, и каталогизирует распространенные векторы атак с реальными примерами.

Для определения рамок обсуждения SAI ISG определяет искусственный интеллект как способность системы обрабатывать явные или неявные представления и выполнять задачи, которые считались бы интеллектуальными, если бы выполнялись человеком. Хотя это определение охватывает широкий спектр, отчет концентрируется на наиболее практическом подмножестве — машинном обучении — движимом достижениями в глубоком обучении, обилиями данных и растущей вычислительной мощностью.

Распространенные парадигмы ML, охватываемые отчетом:

• Обучение с учителем — все обучающие данные размечены, позволяя модели выучить отображение из входов в выходы.
• Полуконтролируемое обучение — только часть данных размечена, позволяя модели улучшаться, используя как размеченные, так и неразмеченные образцы.
• Обучение без учителя — модель обнаруживает структуру в неразмеченных данных, такую как кластеры или группировки.
• Обучение с подкреплением — агенты учат политику через взаимодействие со средой, оптимизируя сигнал награды.

Глубокие нейронные сети доминируют в ландшафте, со слоями, эмулирующими цепи человеческого мозга. Техники обучения вроде противоборственного обучения — где датасет содержит как настоящие, так и намеренно созданные противоборственные образцы — также исследуются.

Много дискуссий вокруг этики AI, но ни одного по стандартам защиты AI. При этом они становятся критическими для обеспечения безопасности AI-ориентированных автоматизированных сетей, говорит Алекс Лидбитер, председатель ETSI SAI ISG. Этот первый отчет призван дать всестороннее определение вызовов, с которыми сталкиваются при защите AI.

Лидбитер добавил для embedded.com: Разумная оценка для технических спецификаций — еще 12 месяцев. Мы опубликуем дополнительные отчеты в ближайших кварталах — Онтология угроз AI, Отчет по цепочке поставок данных и Отчет по стратегии митигации SAI. Первая спецификация тестирования безопасности должна появиться к концу Q2/Q3.

Структура отчета

После определения AI и ML отчет погружается в цепочку обработки данных, адресуя конфиденциальность, целостность и доступность на каждом этапе — от сбора данных, курации, проектирования модели и сборки ПО через обучение, тестирование, развертывание, вывод и обновления.

Данные могут поступать от сенсоров (CCTV, мобильные телефоны, медицинские устройства) или цифровых активов (торговые платформы, документы, файлы журналов). Это может быть текст, изображения, видео или аудио, структурированные или неструктурированные. Безопасность должна покрывать и сами данные, и их передачу и хранение.

Например, во время курации данных целостность датасетов должна сохраняться при исправлении, дополнении или конвертации. В контролируемом ML точная и полная разметка критична; атаки отравления, портящие метки, могут сильно деградировать производительность модели. Предвзятость остается ключевой проблемой, и техники вроде увеличения данных должны проверяться на потенциальные воздействия на целостность.

Проблемы дизайна вокруг предвзятости, этики данных и объяснимости также исследуются. Предвзятость может возникнуть не только во время обучения, но и после развертывания, как проиллюстрировал чатбот 2016 года, начавший твитить оскорбительный контент из-за злонамеренного манипулирования его аккаунтом. Хотя сама предвзятость может не быть уязвимостью безопасности, она подрывает доверие пользователей и может вести к функциональным сбоям.

Этические соображения подсвечены через примеры вроде автономных транспортных средств и здравоохранения. Инцидент 2018 года в Темпе, Аризона, где беспилотный автомобиль сбил пешехода, подчеркнул правовые и этические дилеммы. Проект Moral Machine MIT, запущенный в 2016 году, исследует, как люди реагируют на алгоритмические моральные выборы, информируя, как должны действовать машины.

Отчет подчеркивает, что этические заботы, хотя отличаясь от традиционных атрибутов безопасности (конфиденциальность, целостность, доступность), формируют восприятие пользователями надежности и должны быть встроены в дизайн AI.

Наконец, отчет каталогизирует типы атак — включая отравление, бэкдоры и реверс-инжиниринг — и представляет реальные сценарии и инциденты.

Атака отравления манипулирует моделью во время обучения так, что она ведет себя так, как желает атакующий. Распространенные векторы включают:

• Отравление данных — внедрение некорректных или неправильно размеченных данных при сборе или курации.
• Отравление алгоритма — вмешательство в сам алгоритм обучения, например, манипулирование вкладами в федеративное обучение.
• Отравление модели — замена развернутой модели на вредоносный вариант.

Эволюция AI — от датчмонтских истоков 1950-х до современных приложений — привели к угрозам вроде атак на адблокеры, обфускации вредоносного ПО, дипфейков и олицетворения чатботов.

Что дальше? Продолжающиеся отчеты в рамках ISG

Будущие рабочие элементы углубят исследование нескольких критических областей:

Тестирование безопасности

Этот элемент направлен на определение целей, методов и техник тестирования AI-компонентов. Руководства будут учитывать символьный vs субсимвольный AI, недетерминизм, проблему тестового оракула и поведение, движимое данными. Темы включают:

• Подходы к тестированию безопасности для AI
• Тестовые данные, фокусирующиеся на безопасности для AI
• Тестовые оракулы, адаптированные к выводам AI
• Критерии адекватности для тестирования безопасности AI
• Цели тестирования атрибутов безопасности для AI

Результаты будут строиться на предстоящей Онтологии угроз AI для адресации релевантных угроз.

Онтология угроз AI

Этот доставляемый создаст общую таксономию AI-специфических угроз, дифференцируя их от традиционных системных угроз. Он выровняет терминологию за стейкхолдерами и индустриями, охватывая атакующих, защитников и AI-системы.

Отчет по цепочке поставок данных

Поскольку обучающие данные — это кровь AI, защита их цепочки поставок первостепенна. Этот отчет обследует текущие практики источников данных, регуляторные фреймворки, стандарты и протоколы, и выполняет анализ пробелов для предложения требований к прослеживаемости, целостности и конфиденциальности обучающих данных.

Стратегия митигации SAI

Резюмируя существующие и потенциальные митигации, этот отчет предоставит руководящие принципы для защиты AI-систем от выявленных угроз, очерчивая возможности безопасности, вызовы и ограничения для конкретных сценариев использования.

Роль железа в безопасности AI

Железо — как специализированное, так и общего назначения — играет ключевую роль в защите AI. Отчет будет каталогизировать железные митигации, требования для безопасного AI и возможности использования AI для защиты железа, отмечая уязвимости железа, которые могут усилить AI-атаки.

Полный отчет ETSI, определяющий проблему обеспечения безопасности AI, доступен здесь.