Как рой роботов картографирует среду: Q&A с доктором Дэвидом Лари

Доктор Дэвид Лари из Техасского университета в Далласе возглавляет исследовательскую группу, разработавшую команду автономных роботизированных устройств, которые могут использоваться на опасных или труднодоступных участках для проведения обследований и сбора данных — обеспечивая больше и быстрее инсайтов, чем это способны люди.

Tech Briefs: Что вдохновило вас использовать множественные автономные устройства для сбора целостных наборов экологических данных?

Доктор Дэвид Лари: Ну, в этом путешествии две части. Первая — страсть, которая меня движет. Я глубоко желаю иметь комплексное целостное сенсирование, чтобы держать людей в стороне от опасности, чтобы можно было получить соответствующие действенные инсайты для своевременных решений. Это моя мотивация, но фактическое путешествие к этой точке началось несколько лет назад — ну, почти 30 лет назад.

Когда я делал PhD в Кембридже, человек, который был совсем рядом, открывший озоновую дыру, был парень по имени Джо Фарман. Так что для моего PhD я разработал первую 3-мерную глобальную модель для озонового истощения. Это был химический модуль, который был плагином к глобальной модели, используемой Европейским центром среднесрочного прогнозирования погоды. С моим плагином я мог делать глобальные симуляции для озон-связанной химии. И так, очевидный вопрос, который я хотел задать: насколько хороша эта модель? Чтобы верифицировать её, мне пришлось собрать как можно больше источников данных: спутники, самолеты, наземные датчики и зонды. Одно из

козырящих вещей, с которыми я столкнулся, был межприборный смещение (inter-instrument bias). Так что я искал способ помочь справиться с этими смещениями. Хотя это было 30 лет назад, я случайно наткнулся на машинное обучение. Это было до его массового принятия сегодня, и я обнаружил, что оно делает действительно хорошую работу. Это заставило меня посмотреть, что еще мы можем с этим сделать. По пути мы были первыми людьми, разработавшими химическую ассимиляцию данных, которая теперь используется агентствами по всему миру как часть их систем прогнозирования качества воздуха.

Одна из вещей, которые мы делаем в ассимиляции данных — уделяем большое внимание неопределенностям. Часть моей работы в NASA заключалась в создании глобальных продуктов данных удаленного зондирования. То, как это работает: вы используете информацию удаленного зондирования для создания продукта данных, скажем, о составе атмосферы или земной поверхности или подводном составе, скажем, для глобальных океанов. Вы получаете данные удаленного зондирования со спутника и сравниваете их с наземной истинностью in-situ. Обычно сбор обучающих данных для этого может занять до десятилетия или около того. Это довольно сложная задача, потому что вы хотите иметь возможность пробовать как можно больше разных условий и контекстов, с которыми вы, вероятно, столкнетесь глобально.

Наша автономная роботизированная команда за примерно 15 минут собрала тот же объем данных, который обычно используется для создания тех спутниковых продуктов данных удаленного зондирования, хотя и для одной локации. Так что она может войти в новую среду, которую она не видела раньше, и быстро сделать точно координированные наблюдения. В этом случае командой были лодка и летательный аппарат. Мы выбрали лодку, потому что это немного сложнее, чем наземные измерения, из-за проблем с доступом.

Этот тип парадигмы полезен не только для помощи в быстром создании новых продуктов, но также для калибровки и валидации спутниковых наблюдений, он также полезен для того, чтобы держать людей в стороне от опасности. Если у вас очень загрязненная среда или среда, в которой есть угрозы для людей, входящих в неё, роботизированная команда может пойти туда и в координированном виде собрать соответствующие данные.

Исследование в нашей статье использовало летательный аппарат с гиперспектральным образователем, собирающим огромный объем данных очень быстро. Так что даже наши самые быстрые каналы данных прямо сейчас, может быть, 5G сотовая связь, не достаточно быстры для работы с необходимой пропускной способностью для стриминга гиперспектральных изображений. Мы решаем эту проблему с bordo-обработкой (on-board processing), позволяющей создавать эти продукты данных на лету, используя bordo-машинное обучение, а затем стримить их. Финальные продукты данных, скажем, изобилие загрязнителя, — это намного меньшее количество данных, которое мы можем легко стримить в реальном времени.

Так что это действительно способность быстро собирать комплексные данные, которые могут использоваться для удержания людей в стороне от опасности, для характеристики экосистем, быть частью деятельности по экстренному реагированию, скажем, после урагана, вызвавшего затопление района рядом с химическим заводом, или любое количество таких приложений: вредные цветоношения водорослей, разливы нефти или различные сельскохозяйственные приложения.

Оно спроектировано как гибкий набор компонентов. Как сейчас мы привыкли иметь магазин приложений на телефоне, или машины Tesla с over-the-air обновлениями — это программно-определяемые датчики со своим магазином приложений, которые могут быть обновлены для улучшения их возможностей со временем.

Tech Briefs: У вас летающие датчики и наземные датчики и вы отправляете информацию обратно туда? Как всё это обрабатывается? Где оно обрабатывается?

Доктор Лари: Думайте об этом как об ансамбле умных датчиков. Есть набор вещей: сначала есть программно-определяемый датчик. Программно-определяемый датчик — это умный сенсорный пакет, объединяющий физическую сенсорную систему, скажем, камеру, гиперспектральную камеру, термокамеру или масс-спектрометр. Это может быть любое сенсорное устройство с некоторым программным обеспечением/машинным обучением, обернутым вокруг него, которое затем предоставляет возможность предоставления некоторых откалиброванных и/или производных продуктов данных. Большинству датчиков потребуется калибровка любого рода.

Связывая датчик с программной/машинно-обучающей оберткой мы можем сделать сложную калибровку, позволяющую нам иметь гораздо более гибкую систему. Так что этот программно-определяемый датчик также может иметь свой магазин приложений. Один или несколько таких программно-определяемых датчиков могут быть на платформе, которая обеспечивает датчик питанием и временными и пространственными метками для всех данных, которые он производит, а также коммуникационной связностью, и, возможно, где уместно, подвижностью.

Tech Briefs: Так что это физическая платформа?

Доктор Лари: Да — в этом примере у нас было две платформы. У нас был роботизированный летательный аппарат с гиперспектральной камерой и термокамерой и еще несколькими датчиками на борту. А вторая платформа была роботизированной лодкой, у которой был целый набор датчиков в воде под ней, включая сонар и различные составные датчики и на вершине ультразвуковая метеостанция.

Программно-определяемый датчик плюс платформа формирует сторожа (sentinel). Этот сторож — это то, что обычно может перемещаться, делать измерения, обрабатывать данные и/или стримить их.

Множественные сторожи, работающие вместе, могут формировать робототехническую команду, которая может кооперироваться друг с другом, чтобы предоставлять больше возможностей, чем любая из них сама по себе. В этом случае воздушный робот с его датчиками кооперируется с водным роботом — роботизированной лодкой и её датчиками. Поскольку они в одной сети, воздушные роботы, по дизайну, скользят по тому же пути, что и лодка. Лодка измеряет то, что в воде, пока воздушный робот смотрит вниз на воду сверху со своим гиперспектральным датчиком и, используя машинное обучение, учится отображению от того, что видит наш гиперспектральный датчик, к составу воды. Как только оно выучило это отображение, оно теперь может быстро пролететь над гораздо более широкой областью и предоставить нам, скажем, карту широкой площади состава нефти, изобилия хлорофилла, растворенного органического углерода или любого компонента воды, который нас интересует.

Мы можем сделать это, никогда не видя эту среду раньше — робототехническая команда кооперируется для сбора этих обучающих данных. Обучающие данные используются машинным обучением для создания новых продуктов данных вроде карты широкой площади состава. Как только эта модель обучена, гиперспектральное сенсирование может делаться только с воздушных измерений, оно может обрабатываться на борту воздушного средства и результаты стримиться в реальном времени. Обычно это такой огромный объем данных, что может занять существенное время для обработки. Поскольку вы не можете стримить его в реальном времени, потому что оно такое большое, возможность edge-обработки на борту и затем стримить не только дает вам новую способность, но также уменьшает латентность, задержку в возможности даже сделать такую задачу.

Tech Briefs: Это как то, о чем говорят с датчиками для edge-обработки для уменьшения объема данных, которые нужно отправить.

Доктор Лари: Именно.

Tech Briefs: Вы бы считали проделанную вами работу прототипированием?

Доктор Лари: Да, нам нужно начать где-то, так что это наш первый шаг.

Tech Briefs: Как вы предвидите его практическое использование — скажем, есть катастрофа и власти хотят использовать вашу систему, что они бы сделали?

Доктор Лари: Этот прототип — лишь один экземпляр гораздо более комплексной visión, это минимальная реализация того, что могло быть многоробототехнической командой. Здесь у нас было всего два робота, воздушный и роботизированная лодка. Мы выбрали эти двоих, потому что способность чувствовать воду имеет проблемы с доступом. Но эта команда могла бы легко иметь гораздо больше участников, скажем, наземно-ходячего робота, или амфибийного транспортного средства, которое могло бы перевезти всю робототехническую команду в потенциально опасную среду для удаленного развертывания.

Оно могло бы реагировать на разлив нефти вроде Deepwater Horizon, где мы видели картины воздействия на дикую природу, поражение рыболовства и так далее — и разливы нефти происходят постоянно. Или могло быть химическое загрязнение. Например, когда ураган Гарви ударил по Хьюстону с его большим количеством перерабатывающих заводов, произошло сильное затопление этих объектов и некоторые близлежащие районы оказались окруженных с трех сторон загрязненной водой. Летучие органические соединения в воде в итоге выгазовывались, вызывая серьезные респираторные проблемы — люди не знали, что дышат, но знали, что это влияет на них. Рабочие, входящие для уборки, также пострадали от загрязненной воды.

С нашей сенсорной системой вы бы знали точно, с чем имеете дело, так что могли бы адаптировать свой ответ соответствующим образом. Но это могло бы так же примениться к другим случаям вроде вредных цветоношений водорослей. Или даже если нет катастрофы, этот тип способности может использоваться для характеристики экосистем и проведения обследований инфраструктуры. Скажем, дороги, железные дороги и мосты, где автономные роботы со своим сенсированием могут быстро делать детальные измерения.

Теперь представьте другой сценарий. Скажем, у вас есть воздушные роботы во многом похожие на те, что были в этом примере. С гиперспектральной, термальной и, скажем, синтезированной апертурной радаром, смотрящими на текстуру поверхности, это могло бы сочетаться с наземным роботом, имеющим наземно-продирающий радар для поиска пустот или других дефектов. Будь то туннель или дорога, полости формируются от использования и выветривания. Также есть много разных сценариев для сельского хозяйства. Оно спроектировано как комплексное сенсирование, которое, как лего-блоки, можно использовать вместе, как plug-and-play. Вы бы могли быстро использовать их для целого ряда реальных вариантов использования, где данные-ориентированные решения в реальном времени ведут к большей прозрачности, удерживая людей в стороне от опасности.

Tech Briefs: Если кто-то хочет использовать эту систему, им нужно будет иметь кастомные роботов и дронов, или у вас будет пакет, который можно смонтировать на существующее устройство? Как вы видите это становящимся практическим?

Доктор Лари: Мне пришлось бороться много лет за то, чтобы вещи работали вместе. Это одно — купить оборудование, другое — чтобы компоненты работали вместе. Всё, что мы покупали, было off-the-shelf, потому что наши усилия шли в, для лучшего слова, smarts, как программная интеграция.

Сказав это, ключевым шагом для этих программно-проектируемых датчиков, для которых мы используем машинное обучение, является калибровка против референса или обучение на лету. Мы используем тот же тип идеи для качества воздуха и развертывания низкокосных датчиков по городам, которые были откалиброваны против действительно дорогих референсных датчиков. Мы можем развернуть датчики на районном масштабе, что ранее было бы запретительно по стоимости.

Будучи способными калибровать низкокосные датчики против референса во многом так же, как в этой робототехнической команде мы калибровали гиперспектральные измерения, сделанные удаленным сенсированием, против in-situ состава, в этом случае воды, вы можете достичь вещей, которые иначе были бы очень, очень сложными.

Это действительно сеть датчиков, сеть автономных сторожей, работающих вместе кооперативно с использованием машинного обучения, которая позволяет вам делать гораздо больше, чем любая из этих компонентов могла бы сделать сама по себе.

Tech Briefs: Вы предвидите коммерциализацию этого, строительство частными компаниями или видите участие правительства? Что вы видите впереди?

Доктор Лари: Моя мечта вперед — иметь магазин, где индивид, муниципалитеты или компании могут иметь готовый доступ к этим типам возможностей, и не только получать датчики, но и бэкенд-сервисы. Так что когда вы plug-and-play это вместе, оно просто работает, и вам не нужно проходить через долгую разработку. Национальный научный фонд классифицирует это как кибер-физическую систему. Кибер-физические системы — это по сути сенсорные системы, связанные с алгоритмами, помогающими вам принимать лучшие, своевременные решения.

Так что моя мечта для всего этого, и над чем работают несколько из нас — и мы приветствуем партнеров всех видов — это иметь кибер-физический социальный обсерваторий. Ему пришлось бы быть национальным объектом, как астрономический обсерваторий с гигантским телескопом, потому что никто другой не может позволить себе делать что-то в таком масштабе.

Представьте теперь у вас есть набор сенсорных возможностей с множественными компонентами, которые в нашем проекте — воздушные роботы и роботизированная лодка. Но наша система на самом деле имеет девять типов сторожей для различных типов ситуаций. Мы можем использовать удаленное зондирование со спутников и погодных радаров. Помимо воздушных средств, у нас есть уличные датчики, стримящие 24/7 качество воздуха, интенсивность света, ионизирующее излучение и так далее. У нас есть ходячие роботы, у нас есть электрические наземные средства и роботизированные лодки, но также у нас есть носимые датчики.

Мы также хотим иметь возможность мультимасштабного сенсирования от глобальной большой картинки со спутника. Так что скажем, мы теперь вернемся к примеру урагана Гарви. Задолго до того, как ураган Гарви достиг берега, мы могли видеть его со спутников, а затем, когда он приблизился к высадке, с погодным радаром. Но в ту минуту, когда он достигает берега, детали микросреды становятся критическими. Точная высота конкретных потоков может сделать действительно большую разницу для локальной среды. Так что мы хотим иметь информацию и на глобальном большом масштабе и на гипер-локальном масштабе, потому что вы и я живем в этом очень локализованном масштабе. Чтобы иметь возможность одновременно чувствовать и большой масштаб и локальный масштаб, нам действительно нужны множественные сторожи.

Но затем носимое сенсирование тоже действительно важно. Например, в некоторых параллельных работах, которые мы делаем, вы видите заголовки новостей, говорящие, что плохое качество воздуха делает вас «глупым». Но насколько глупым? Какие загрязнители могут сделать нас глупее остальных? Так что в одном из наших исследований мы используем комплексное биометрическое сенсирование и измеряем более 16 000 параметров в секунду, вместе с комплексным экологическим сенсированием около 2000 экологических параметров, чтобы увидеть, как экологическое состояние влияет на нашу автономную реакцию.

Всё это спроектировано и как целостное сенсирование для удержания людей в стороне от опасности, но и для нахождения того невидимого слона в комнате, который может влиять на наше здоровье. Как только мы осознаем, что это такое и сможем его количественно оценить, обычно есть очевидный путь данных-ориентированных решений сделать вещи лучше и затем предпринять соответствующие следующие шаги для мониторинга нашего прогресса.

Это действительно моя мечта — быть катализатором для этого целостного сенсирования для удержания людей в стороне от опасности: сенсирование в службе общества. У нас много прототипов, которые мы пытаемся довести до точки, где они могут быть пригодны. Так что мы всегда приветствуем партнерство для ускорения этого — от правительств, от индивидов, местных муниципалитетов, групп сообщества, компаний. Мы работаем со всеми этими типами сущностей.

Tech Briefs: Звучит так, будто вы изобретаете совершенно новый вид инфраструктуры.

Доктор Лари: Мы пытаемся — это по сути движимое потребностями. Целостная информация может сделать такую большую разницу, давая нам информацию для принятия соответствующих решений. Без соответствующей инфраструктуры сделать это было бы нетривиально.

Tech Briefs: Звучит чудесно, я просто надеюсь, что это может быть реализовано когда-нибудь.

Доктор Лари: Я тоже, я тоже. Мы прошли долгий путь. Думаю, мы делаем первый шаг.

Другая часть вне физического, которой я не добрался, это то, что вы можете иметь такие вещи, как школьная прогулка, которая затем ведет к плохим учебным результатам. Но часто оказывается, что прогулка может быть из-за таких вещей, как астма. Астма из-за высокой пыльцы или загрязнения воздуха, и это на самом деле каскад эффектов — социальное взаимодействует с экологическим. Мы не хотим, чтобы это было просто односторонней вещью. Мы хотим, чтобы триггеры для наблюдений были и тем, что мы видим от сенсирования напрямую, но также и от социальных проблем, как кластеры результатов здоровья или цветоношения водорослей, которые могут убить рыболовство, или разлив нефти — это двустороннее взаимодействие.

Наличие данных-платформы, которая может собрать все эти экологические параметрические слои с социальными слоями, как тренды смертности, прогулка, онкология и так далее, может помочь сделать процесс принятия решений для помощи индивидуам, гораздо более прозрачным и эффективным.

Tech Briefs: На чем вы работаете сейчас? Каков ваш самый следующий шаг?

Доктор Лари: Самый следующий шаг для этой конкретной робототехнической команды с лодками плюс воздушное средство — улучшить различные аспекты этой автономной команды. А затем мы хотим расширить её, чтобы у неё было больше участников команды. Например, иметь амфибийное наземное средство, которое может, может быть, перевезти и лодку и воздушное средство в загрязненную среду и затем развернуть их, пока также делает измерения само. Также сделать роботов частью ремедиации.

Это разные компоненты, работающие вместе. Тот же тип команды также можно использовать для просмотра обслуживания инфраструктуры, будь то дороги или рельсы или мосты, и также для других аспектов экологического качества — качества воздуха, качества воды. Так что действительно, этот proof of concept был просто прототипом, чтобы показать: «Эй, действительно это можно сделать и теперь мы хотели бы масштабировать это во стольких разных приложениях».

Также эти могут быть прототипы для спутниковых миссий. Вы можете представить конвейер, где у вас есть proof of concept на воздушном средстве. Затем оно может перейти на другие платформы вроде CubeSat, например. Это также может быть частью процесса валидации, собирая данные для спутниковых миссий, а также собирая данные для любых из разных целей, которые я упоминал.

Отредактированная версия этого интервью появилась в выпуске Tech Briefs за июнь 2021 года.