Неотъемлемые ограничения ИИ требуют «заблаговременного» подхода к безопасности

Как бывший инженер-электронщик большой мощности, я проектировал и тестировал высоковольтные источники питания для самых разных приложений, от первых прототипов систем компьютерного томографа до ускорителей частиц. Я сделал то же самое с мощными микроволновыми системами для всего:от симуляторов для проверки воздействия радара на чувствительную электронику самолета, с одной стороны, до обработки мюсли, с другой. Более 30 лет я работал с десятками киловольт постоянного напряжения и десятками киловатт микроволновой мощности.

Блог Эда

Эд Браун из SAE Media Group, проработавший десятилетиями в качестве инженера по проектированию, успешно вошёл во вторую карьеру:технический редактор.

«Я понял, оглядываясь назад на свои инженерные дни и наблюдая за всеми последними и лучшими в качестве редактора, у меня есть много мыслей о том, что происходит сейчас в свете моего инженерного опыта, и я хотел бы поделиться некоторыми из них сейчас. ». .

Все должно было быть спроектировано с максимально возможным запасом прочности и с целью обеспечения отказоустойчивости. Это означало заблаговременное продумывание возможных путей, по которым система может выйти из строя, и проектирование таким образом, чтобы свести к минимуму вероятность того, что сбой приведет к травмам или повреждению. Например, мы использовали электронные «ломы», которые безопасно замыкали бы выход за микросекунды, если бы датчик сигнализировал о внезапном увеличении тока нагрузки. Но это была активная система, которая не сработала бы в случае сбоя питания. Итак, мы использовали резервный механический лом, удерживаемый электромагнитом в качестве надежной защиты. Если питание входной линии выйдет из строя, металлический стержень упадет на выход. Это было важно, потому что даже без электричества в батареях конденсаторов могло храниться опасное количество энергии. Однажды я со страхом обнаружил это для себя, когда получил удар от источника питания, который, как я думал, был безопасно отключен.

Именно с таким настроем я думаю об искусственном интеллекте (ИИ). Я не беспокоюсь, что ИИ вытеснит человеческий интеллект и превратит всех нас в роботов. Но я беспокоюсь о том, что слишком сильно полагаюсь на него, особенно по крайней мере в двух областях:приложения безопасности в передовых системах помощи водителю (ADAS) и автономные транспортные средства и диагностика заболеваний.

Итак, я обратил внимание, когда прочитал о «внутренних ограничениях» ИИ . Исследователи из Кембриджского университета и Университета Осло утверждают, что нейронные сети, обрабатывающие ИИ, могут быть нестабильны при определенных условиях, и что неопределенность нельзя исправить, просто добавив больше обучающих данных. По словам исследователей, нам нужно больше теоретической работы, чтобы лучше понять математику вычислений ИИ. Чтобы получить более надежные результаты, вы должны понять конкретный источник ошибки и изменить метод искусственного интеллекта, чтобы исправить его.

Исследователи Калифорнийского университета в Беркли и Техасского университета в Остине заметили проблему когда им не удалось воспроизвести многообещающие результаты исследования медицинской визуализации. «После нескольких месяцев работы мы поняли, что данные изображений, использованные в статье, были предварительно обработаны», — сказал главный исследователь исследования Майкл Люстиг, профессор электротехники и компьютерных наук Калифорнийского университета в Беркли.

Это было источником неприятностей. "Мы хотели повысить осведомленность об этой проблеме, чтобы исследователи могли быть более осторожными и публиковать более реалистичные результаты", – сказал Люстиг.

Они обнаружили, что неточность была вызвана использованием необъективной общедоступной базы данных для обучения системы. Исследователи придумали термин "неявные преступления против данных" для описания результатов исследований, которые возникают, когда алгоритмы разрабатываются с использованием ошибочной методологии.

В интервью с Билли Херли, менеджером цифровой редакции SAE, профессор Экехард Штайнбах из Мюнхенского технического университета (TUM) описал потенциально критические автомобильные ситуации, которые модели ИИ «могут быть не в состоянии распознать или еще не обнаружить». Например, повторяющееся торможение может быть обычной ездой в теплую погоду, но может указывать на предстоящее отключение, если дороги обледенелые и скользкие. Такие шаблоны бывает трудно распознать.

Но с другой стороны, команда Штайнбаха разработала технологию безопасности, которая учится на собственных прошлых ошибках. «Если машина попадает в ситуацию, для которой она не была подготовлена, могут возникнуть проблемы», — сказал Штайнбах. «Такие новые сцены вызывают вмешательство человека, что приводит к тому, что эти сцены используются в качестве обучающих данных для нашего подхода. Хотя наш метод может затем помочь обнаружить такую ​​​​новую сложную среду в следующий раз, когда она встретится, обнаруживая и правильно управляя совершенно новой сценой. первый раз, когда он встречается, остается сложной задачей».

Мой вывод из всего этого заключается в том, что ИИ может ускорить и улучшить медицинскую диагностику. Это также может помочь сделать автомобили более безопасными на дороге. Но вы должны уделять особое внимание своим методам.

Когда вы проектируете систему искусственного интеллекта, очень важно мыслить как высоковольтный инженер:заранее продумайте возможные причины отказа системы и разработайте ее с целью свести к минимуму вероятность этого. И если сбой все же произойдет, постарайтесь снизить вероятность травм или повреждений.

Вы согласны? Поделитесь своими вопросами и комментариями ниже.

Подробнее читайте в блоге Эда:Дизайн снаружи внутрь и изнутри наружу