Улучшение слуха AV-систем

Если водители могут слышать сирену, почему автономные транспортные средства не могут этого сделать? то же?

В чрезвычайных ситуациях, таких как тяжелые дорожно-транспортные происшествия, на счету каждая секунда, а достаточно широкая аварийная полоса может стать решающим фактором между жизнью и смертью. Если водители слышат сирену, почему беспилотные автомобили не могут делать то же самое? Каир, Египет, компания Avelabs разработала сенсорное решение, которое дает транспортным средствам чувство слуха, дополняющее зрение и улучшающее автономные системы вождения.

«Видение - это наше самое важное чувство при оценке окружающей среды», - сказал Амр Абдельзабур, директор по управлению продуктами в Avelabs, на панельной сессии на AutoSens в Брюсселе в этом году. «Однако, как люди-водители, мы не зависим только от зрения. Когда мы ведем машину, мы также зависим от своего слуха. Есть много информации, которую мы слышим, но не видим, как сирена, идущая сзади. Или, если мы въезжаем на слепой перекресток, и приближается машина, мы не можем ее увидеть, но мы ее слышим ».

На выставке AutoSens компания Avelabs представила AutoHears, акустическую сенсорную систему, которая обнаруживает, классифицирует и локализует звуки, чтобы помочь понять сложную среду автомобиля. AutoHears, который включает в себя оборудование, механический корпус и программное обеспечение, которое запускает функции зондирования, нацелен на обнаружение аварийных транспортных средств, затемненного поля, стихийных бедствий (например, оползней) и событий безопасности (например, столкновения поблизости, выстрелы, взрывы), а также как самодиагностика автомобиля и распознавание речи.

В ходе дальнейшего обсуждения с EE Times Europe , Абдельзабур объяснил, что нужно для того, чтобы автомобили обрели слух, как программное и аппаратное обеспечение зависят друг от друга, где и как выполняется процесс объединения данных и когда можно ожидать появления AutoHears?

EE Times Europe:Не могли бы вы описать типы звуков, которые AutoHears может и не может распознавать?

Амр Абдельсабур: Мы начали со звуков движущихся автомобилей (например, шин, двигателя, тормозов и аэродинамических звуков), а также звуковых сигналов и сирен различных мировых стандартов. Эти классы были протестированы и продемонстрированы до сих пор. В настоящее время мы работаем над добавлением новых классов, таких как стихийные бедствия и обнаружение столкновений, но они все еще находятся на стадии разработки функций. Дорожная карта для разработки функций находится в стадии разработки.

EE Times Europe:AutoHears обнаруживает звуки со всех сторон. Есть ли какие-то физические ограничения?

Abdelsabour: AutoHears может обнаруживать звуки со всех сторон, и не только, но также звуки, исходящие из-за стен и других препятствий. Конечно, есть физические ограничения. Измерение звука - это относительный процесс восприятия, при котором звук воспринимается относительно окружающей среды. Это означает, что если бы окружающая среда была тихой, AutoHears мог бы обнаруживать слабые и слабые звуки, такие как велосипеды и даже шаги. Однако, если окружающая среда была шумной, AutoHears мог бы обнаруживать только самые важные из звуков. Так, например, если бы поблизости была активна громкая сирена, мы не смогли бы обнаружить звуки двигателей других транспортных средств, поскольку громкий звук перекрывал бы тихий звук. Тем не менее, мы работаем над выяснением наших точных физических ограничений в объективных цифрах, чтобы иметь возможность поставить надежные ограничения для наших клиентов.

EE Times Europe:как насчет классификации звуков?

Abdelsabour: Классификация звуков - сложный процесс, особенно когда речь идет о нестандартных звуках. Если мы говорим о стандартизированных звуках, таких как сирены, процесс классификации становится простым и довольно простым и может быть выполнен с использованием алгоритмов на основе моделей. Однако обнаружение движущегося транспортного средства - более сложный процесс, потому что это нестандартная комбинация звуков, состоящих из различных физических компонентов, создающих окончательные звуки, которые слышат наши уши или сенсоры. Именно здесь вступают в игру различные методы искусственного интеллекта, позволяющие классифицировать звуки на основе машинного обучения с помощью собранных данных, а также обнаруживать и классифицировать звуки в соответствии с тем, что они узнали. Мы с гордостью можем сказать, что в AutoHears мы развернули комбинацию алгоритмов на основе моделей и машинного обучения для классификации звуков в зависимости от целевых звуков, которые необходимо обнаружить.

EE Times Europe:Как аудиоданные сочетаются с данными изображения с камер или других датчиков, встроенных в автомобиль?

Abdelsabour: Как и в случае с водителями-людьми, звук дополняет зрение. Таким мы видим AutoHears и соответствующим образом его разработали. Поскольку мы в основном занимаемся акустическим зондированием, мы доставляем необработанную информацию акустического зондирования, которую можно объединить с другими датчиками, такими как камеры и радары, для классификации и локализации объектов, чтобы использовать сильные стороны каждого отдельного датчика и преодолеть их слабые стороны. . Так, например, объединение радара, камеры и AutoHears может привести к следующему обнаружению транспортного средства в нашей слепой зоне:радар может обнаруживать препятствие и точно оценивать его расстояние (поскольку радары очень надежны в этом аспекте), камера классифицирует этот объект (если есть камера, смотрящая в направлении, где находится целевой автомобиль), AutoHears подтвердит обнаружение своей собственной классификацией и локализацией этого транспортного средства, а также добавит информацию, если это транспортное средство издает какие-либо звуки, такие как как гудок или сирену. Комбинация всех датчиков вместе делает объединение датчиков в высшей степени убедительным воссозданием окружающей среды наилучшим образом.

EE Times Europe:Почему вы решили создать полную систему? Почему было важно решить все программные и аппаратные аспекты?

Амр Абдельсабур, Avelabs

Abdelsabour: AutoHears как система обнаружения является одной из первых систем обнаружения в своем роде, а именно акустической системой обнаружения. Поскольку Avelabs занимается разработкой программного обеспечения, мы изначально хотели, чтобы наше основное внимание было сосредоточено только на распознавании функций с точки зрения программного обеспечения, а не на аппаратных компонентах. Однако без сенсорного оборудования не может быть никаких сенсорных функций. Аппаратное обеспечение обнаружения является основным инструментом обнаружения, поскольку датчик не так прост, как установка микрофона в транспортном средстве для обнаружения, а, скорее, оборудование должно быть тщательно спроектировано, чтобы обеспечить точную локализацию окружающей среды. Чтобы локализовать объект, алгоритмы локализации полагаются на физические факторы, такие как разница во времени прибытия звука, которая может быть обнаружена только тогда, когда оборудование спроектировано таким образом, чтобы это можно было обнаружить. Есть несколько аппаратных факторов, таких как количество микрофонов, расстояние между ними и их размещение на транспортном средстве. Все эти требования к оборудованию заставили нас спроектировать и изготовить оборудование самостоятельно, чтобы использовать предлагаемые нами функции акустического зондирования. Проще говоря, нет компании, которая предлагает внешнее оборудование для акустического обнаружения автомобилей, поэтому нам пришлось разработать его самостоятельно.

EE Times Europe:Вы можете подробнее рассказать о самом акустическом датчике? А на ЦП, где работает алгоритм?

Abdelsabour: Когда дело касается сенсорной и процессорной системы, мы выбрали централизованную архитектуру. Это решение соответствует тенденции, которую в настоящее время придерживаются все автомобильные компании, которая заключается в том, чтобы полагаться на датчики, которые обнаруживают необработанные данные (камеры, радары и т. Д.). Затем необработанные данные отправляются на централизованный контроллер домена, где происходит объединение датчиков. Вот почему мы создали акустический датчик как датчик исходных данных, который обнаруживает всю акустическую информацию и отправляет ее на централизованный контроллер домена, где работают алгоритмы обнаружения. Как вы знаете, мы сами разработали акустический датчик, но в качестве процессора, на котором работают наши алгоритмы, мы используем стандартные автомобильные контроллеры домена, такие как Xilinx FPGA и TI ADAS TDA SoC. Однако, поскольку каждый заказчик использует свой собственный контроллер домена, мы используем эти процессоры только в качестве эталонного оборудования. Поскольку нас можно просто развернуть на контроллере домена любого типа с учетом необходимых настроек.

EE Times Europe:Почему вы говорите, что AutoHears «зависит от оборудования»?

Abdelsabour: AutoHears в качестве датчика и алгоритмов распознавания имеет общие компоненты и компоненты, специфичные для оборудования, в зависимости от функций, желаемых заказчиком, и контроллера обработки, который использует заказчик. Так, например, если клиент хочет только направление звукового события (без расстояния до объекта, излучающего звук), необходимо использовать только один датчик. Но если заказчик также хочет определить расстояние до объекта, необходимо использовать несколько датчиков для триангуляции расстояния до объекта. Это, например, аппаратно-зависимая функция.

Другая сторона зависимости от оборудования - это контроллер домена, используемый для обработки функций обнаружения. Производительность наших функций зависит от процессоров, на которых они работают, и их возможностей. Существует компромисс между производительностью и требованиями оборудования к обработке. Так, например, если мы хотим, чтобы AutoHears обнаруживал с разрешением в один градус, это потребует дополнительных ресурсов обработки. Если мы уменьшим желаемую производительность, то уменьшатся и требования к обработке. Кроме того, каждое новое оборудование будет поставляться с некоторыми аппаратными настройками для уровня абстракции микроконтроллера, такими как драйверы датчиков AutoHears, которые будут внедрены в базовую программную среду заказчика.

EE Times Europe:Где вы находитесь с точки зрения развития? Когда вы планируете тестировать AutoHears на дорогах общего пользования? Когда вы ожидаете, что AutoHears будет запущен в производство?

Abdelsabour: AutoHears можно рассматривать на этапе разработки продукта. Мы уже проверили концепцию с технической и финансовой точки зрения, провели демонстрации и испытания, чтобы подтвердить осуществимость, и в настоящее время мы работаем над «производством» разработки. Это включает в себя валидацию на дорогах общего пользования, а также получение автомобильных сертификатов. Это два шага, которые нам необходимы, чтобы перейти от разработки продукта к его коммерциализации. Это необходимые шаги, которые необходимо предпринять, прежде чем они будут готовы к производству.

EE Times Europe:Были ли у вас первые клиенты, тестирующие решение?

Abdelsabour: Хотя мы начали анонсировать продукт на AutoSens в сентябре этого года, мы уже обсуждаем с клиентами возможность тестирования решения. Поскольку мы пытаемся выпустить новый продукт на автомобильный рынок, мы надеемся, что наши клиенты и партнеры узнают больше об ожиданиях и требованиях рынка, а также интегрируют наши датчики в автопарк для сбора данных, чтобы собрать больше данных для обучения. и в целях проверки.

---

Связанное содержание:

• Успешная акустическая обработка в реальном времени требует тщательного планирования.
• Сочетание аппаратного и программного обеспечения для улучшения звука
• Устройства с низким энергопотреблением могут слушать с помощью кремниевой улитки.
• Решения с адаптивным ANC расширяют возможности звука.

Чтобы получить больше информации о Embedded, подпишитесь на еженедельную рассылку Embedded по электронной почте.