Почему ИИ нужен проактивный подход к безопасности: Уроки из 30+ лет инженерии высокомощной электроники

Бывшим инженером высокомощной электроники, я проектировал и тестировал высоковольтные блоки питания для широкого спектра приложений — от ранних прототипов систем КТ до частичных ускорителей. Я делал то же с высокомощными микроволновыми системами для всего — от симуляторов для тестирования эффектов радара на чувствительную авиационную электронику на одном крайнем до обработки гранолы на другом. Более 30 лет я работал с десятками киловольт постоянного напряжения и десятками киловатт микроволновой мощности.

Блог Эда

После десятилетий работы как ЭЕ, Эд Браун из SAE Media Group уже далеко во второй карьере: Тех-редактор.

«Я понял, оглядываясь на свои инженерные дни и наблюдая за всем новейшим и величайшим как редактор, у меня много мыслей о том, что происходит сейчас в свете моего инженерного опыта, и я хочу поделиться некоторыми из них сейчас».

Всё должно было проектироваться с запасами прочности настолько большими, насколько практично, и с целью быть fail-safe (аварийно-безопасными). Это означало мышление заранее о возможных способах отказа системы и проектирование для минимизации шансов, что отказ приведет к травме или ущербу. Например, мы использовали электронные «краубары» (crowbars), которые безопасно замыкали выход за микросекунды, если датчик сигнализировал о внезапном скачке тока нагрузки. Но это была активная система, которая не сработала бы при отказе питания. Поэтому мы использовали резервный механический краубар, удерживаемый электромагнитом как fail-safe защиту. Если входное питание линейки отказало, металлическая штанга падала через выход. Это было важно, потому что даже без питания могло быть опасное количество энергии, хранящейся в конденсаторных банках — чему я однажды страшно узнал сам, когда получил удар от блока питания, который, как я думал, безопасно выключен.

С таким мышлением я думаю об искусственном интеллекте (ИИ). Я не беспокоюсь, что ИИ заменит человеческий интеллект и превратит нас всех в роботов. Но я беспокоюсь о чрезмерном доверии к нему, особенно по крайней мере в двух областях: приложениях безопасности в системах продвинутой помощи водителю (ADAS) и автономных автомобилях и диагностике заболеваний.

Поэтому это привлекло мое внимание, когда я прочитал о «внутренних ограничениях» в ИИ . Исследователи из Кембриджа и Осло утверждают, что нейронные сети, обрабатывающие ИИ, могут быть нестабильны при определенных условиях, и что неопределенность не может быть исправлена простым добавлением больше обучающих данных. Согласно исследователям, нам нужно больше теоретической работы для лучшего понимания математики ИИ вычислений. Чтобы получить более надежные результаты, нужно понимать конкретный источник ошибки и менять ИИ метод для его исправления.

Исследователи Калифорнийского университета в Беркли и Техасского университета в Остине заметили проблему , когда они не смогли воспроизвести многообещающие результаты исследования медицинской визуализации. «После нескольких месяцев работы мы поняли, что данные изображений, использованные в статье, были предобработаны», — сказал главный исследователь Майкл Ластиг, профессор электротехники и компьютерных наук UC Беркли.

Это было источником проблемы. «Мы хотели поднять осведомленность о проблеме, чтобы исследователи могли быть более осторожными и публиковать более реалистичные результаты», — сказал Ластиг.

Они обнаружили, что неточность была вызвана использованием предвзятой публичной базы данных для обучения системы. Исследователи придумали термин «неявные преступления данных» (implicit data crimes) для описания исследовательских результатов, возникающих когда алгоритмы разрабатываются с использованием ошибочной методологии.

В Q&A с Билли Хёрли, менеджером цифровой редакции SAE, профессор Эккехард Штейнбах из Технического университета Мюнхена (TUM) описал потенциально критические автомобильные ситуации, которые ИИ модели «могут не быть способны распознать, или еще не открыли». Например, паттерн повторного торможения может быть обычной ездой в теплую погоду, но может указывать на грядущее отключение, если дороги ледяные и скользкие. Такие паттерны могут быть трудно распознать.

Но с хорошей стороны, команда Штейнбаха разработала технологию безопасности, которая интроспективно учится на собственных предыдущих ошибках. «Если машина попадает в ситуацию, на которую она не обучена, проблемы могут возникнуть», — сказал Штейнбах. «Такие новые сцены вызывают человеческое вмешательство, что приводит к тому, что эти сцены используются как обучающие данные для нашего подхода. Хотя наш метод может помочь обнаружить такую новую сложную среду в следующий раз, когда она встретится, обнаружение и правильное управление полностью новой сценой при первом встрече остается сложной задачей».

<р>Мой вывод из всего этого: ИИ может ускорить и улучшить медицинскую диагностику. Он также может помочь сделать транспортные средства гораздо безопаснее на дорогах. Но вы должны уделять внимательное внимание своим методам.

Жизненно важно мыслить как инженер высокого напряжения, когда вы проектируете ИИ систему: думать заранее о возможных способах отказа системы и проектировать её с целью минимизации шансов на это. И если отказ происходит, стремиться снизить шансы травмы или ущерба.

Согласны ли вы? Делитесь вопросами и комментариями ниже.

Читайте больше из Блога Эда: Проектирование извне внутрь vs изнутри наружу