Вопросы и ответы:Team of Robots Maps Состав окружающей среды

Доктор Дэвид Лари из Техасского университета в Далласе возглавляет исследовательскую группу, которая разработала группу автономных роботизированных устройств, которые можно использовать в опасных или труднодоступных местах для проведения обследований и сбора данных, что позволяет быстрее получать более подробные сведения. чем люди в состоянии предоставить.

Технические обзоры: Что вдохновило вас на использование нескольких автономных устройств для сбора целостных наборов данных об окружающей среде?

Доктор. Дэвид Лари: Что ж, в этом путешествии есть две части. Во-первых, это страсть, которая движет мной. Я очень хочу иметь всестороннее целостное восприятие, чтобы уберечь людей от опасности, чтобы можно было получить соответствующие действенные идеи для принятия своевременных решений. Это моя мотивация, но настоящий путь к этому начался несколько лет назад — ну, почти 30 лет назад.

Когда я защитил докторскую диссертацию в Кембридже, человек, который открыл озоновую дыру, был совсем рядом, это был парень по имени Джо Фарман. Итак, для своей докторской диссертации я разработал первую трехмерную глобальную модель разрушения озонового слоя. Это был химический модуль, подключаемый к глобальной модели, которая использовалась Европейским центром среднесрочного прогнозирования погоды. С моим подключаемым модулем я мог выполнять глобальные симуляции для химии, связанной с озоном. Итак, очевидный вопрос, который я хотел задать:насколько хороша эта модель? Чтобы проверить это, мне пришлось собрать как можно больше источников данных:спутники, самолеты, наземные датчики и воздушные шары. Один из

пагубной вещью, с которой я столкнулся, была межинструментальная предвзятость. Итак, я искал способ помочь справиться с этими предубеждениями. Хотя это было 30 лет назад, я совершенно случайно наткнулся на машинное обучение. Это было до того, как он получил широкое признание, которое он имеет сегодня, и я обнаружил, что он действительно хорошо справился со своей задачей. Это заставило меня задуматься о том, что еще мы могли бы с ним сделать. Попутно мы были первыми, кто разработал ассимиляцию химических данных, которая теперь используется агентствами по всему миру как часть их систем прогнозирования качества воздуха.

Одна из вещей, которую мы делаем при усвоении данных, — это уделение большого внимания неопределенностям. Частью моей работы в НАСА было создание глобальных продуктов дистанционного зондирования. Это работает следующим образом:вы используете информацию дистанционного зондирования для создания продукта данных, скажем, о составе атмосферы, поверхности земли или подводного состава, скажем, для глобальных океанов. Вы получаете данные дистанционного зондирования со спутника и сравниваете их с реальными данными на месте. Обычно сбор обучающих данных для этого может занять до десяти лет или около того. Это непростая задача, потому что вы хотите иметь возможность попробовать как можно больше различных условий и контекстов, с которыми вы, вероятно, столкнетесь в глобальном масштабе.

Наша автономная команда роботов примерно за 15 минут собрала тот же объем данных, который обычно используется для создания этих спутниковых продуктов дистанционного зондирования, хотя и для одного места. Таким образом, он может войти в новую среду, которую он раньше не видел, и быстро проводить точно скоординированные наблюдения. При этом в команде были катер и летательный аппарат. Мы выбрали лодку, потому что это немного сложнее, чем наземные измерения из-за проблем с доступом.

Этот тип парадигмы полезен не только для помощи в быстром создании новых продуктов, но также для калибровки и проверки спутниковых наблюдений, он также полезен для защиты людей от опасности. Если у вас очень загрязненная среда или среда, в которой есть угрозы для людей, входящих в нее, команда роботов может отправиться туда и скоординированным образом собрать соответствующие данные.

В исследовании, описанном в нашей статье, использовался летательный аппарат с гиперспектральным устройством формирования изображений, которое очень быстро собирает огромный объем данных. Таким образом, даже наши самые быстрые каналы передачи данных прямо сейчас, возможно, сотовая связь 5G, недостаточно быстры, чтобы справиться с необходимой пропускной способностью для потоковой передачи гиперспектральных изображений. Мы решаем эту проблему с помощью встроенной обработки, которая позволяет нам создавать эти продукты данных на лету, используя встроенное машинное обучение, а затем передавать их в потоковом режиме. Конечные продукты данных, скажем, обилие загрязняющих веществ, представляют собой гораздо меньший объем данных, которые мы можем легко передавать в режиме реального времени.

Таким образом, это действительно возможность быстро собрать исчерпывающие данные, которые можно использовать для защиты людей от опасности, для характеристики экосистем, участия в мероприятиях по реагированию на чрезвычайные ситуации, скажем, после урагана, вызвавшего затопление района рядом с химическим заводом. , или любое количество таких применений:вредоносное цветение водорослей, разливы нефти или различные сельскохозяйственные применения.

Он разработан как гибкий набор компонентов. Точно так же, как сейчас мы привыкли иметь магазин приложений на нашем телефоне или автомобили Tesla с обновлениями по беспроводной сети — это программно-определяемые датчики с собственным магазином приложений, которые можно обновлять, чтобы со временем улучшать их возможности.

Технические обзоры: У вас есть летающие и наземные датчики, и куда вы отправляете информацию? Как это все обрабатывается? Где он обрабатывается?

Доктор. Лари: Думайте об этом как о ансамбле интеллектуальных датчиков. Есть набор вещей:во-первых, это программно-определяемый датчик. Программно-определяемый датчик будет представлять собой пакет интеллектуальных датчиков, который сочетает в себе физическую систему датчиков, скажем, камеру, гиперспектральную камеру, тепловизионную камеру или масс-спектрометр. Это может быть любое сенсорное устройство с некоторым программным обеспечением/машинным обучением, которое затем предоставляет возможность предоставлять некоторые откалиброванные и/или производные продукты данных. Большинству датчиков потребуется какая-либо калибровка.

Объединив датчик с программным обеспечением/оболочкой машинного обучения, мы можем выполнить сложную калибровку, которая позволит нам получить гораздо более гибкую систему. Таким образом, этот программно-определяемый датчик также может иметь собственный магазин приложений. Один или несколько таких программно-определяемых датчиков могут находиться на платформе, которая обеспечивает датчик питанием, отметками времени и местоположения для всех данных, которые он производит, а также связью и, возможно, там, где это уместно, мобильностью.

Технические обзоры: Значит, это физическая платформа?

Доктор. Лари: Да — в этом примере у нас было две платформы. У нас был роботизированный летательный аппарат с гиперспектральной камерой, тепловизионной камерой и несколькими другими датчиками на борту. А второй платформой была роботизированная лодка, под которой был целый набор датчиков в воде, включая гидролокатор и различные датчики состава, а сверху — ультразвуковая метеостанция.

Программно-определяемый датчик плюс платформа образуют дозорный. Этот дозорный обычно может перемещаться, выполнять измерения, обрабатывать данные и/или передавать их в потоковом режиме.

Несколько стражей, работающих вместе, могут сформировать команду роботов, которые могут сотрудничать друг с другом, чтобы предоставить больше возможностей, чем любой из них может сделать самостоятельно. В этом случае воздушный робот своими датчиками взаимодействует с водным роботом — роботизированной лодкой и ее датчиками. Поскольку они находятся в одной сети, воздушные роботы по своей конструкции скользят по тому же пути, что и лодка. Лодка измеряет то, что находится в воде, в то время как воздушный робот смотрит на воду сверху с помощью своей удаленной гиперспектральной камеры и, используя машинное обучение, изучает сопоставление того, что видит наша гиперспектральная камера, с составом воды. Как только он изучит это картографирование, он сможет быстро пролететь над гораздо более широкой территорией и предоставить нам, скажем, обширную карту состава с указанием концентрации нефти, изобилия хлорофилла, растворенного органического углерода или любого другого компонента воды, который мы можем использовать. интересуюсь.

Мы можем сделать это, никогда раньше не видя такой среды — команда роботов сотрудничает, чтобы собрать эти обучающие данные. Обучающие данные используются машинным обучением для создания новых информационных продуктов, таких как глобальная композиционная карта. После того, как эта модель будет обучена, гиперспектральное зондирование может быть выполнено только на основе аэрофотоснимков, оно может быть обработано на борту летательного аппарата, а затем результаты будут передаваться в режиме реального времени. Обычно это такой огромный объем данных, что обработка чисел может занять значительное время. Поскольку вы не можете транслировать его в режиме реального времени из-за его большого размера, возможность обработать его на борту, а затем передать в потоковом режиме, не только дает вам новые возможности, но также уменьшает задержку, задержку в возможности даже выполнить такое задание.

Технические обзоры: Это похоже на то, что они говорят о датчиках для обработки краев, чтобы уменьшить объем данных, которые вы должны отправить.

Доктор. Лари: Точно.

Технические обзоры: Считаете ли вы только что проделанную работу прототипом?

Доктор. Лари: Да, нам нужно с чего-то начинать, так что это наш первый шаг.

Технические обзоры: Как вы представляете ее практическое использование — скажем, случилось бедствие и власти хотят использовать вашу систему, что они будут делать?

Доктор. Лари: Этот прототип — всего лишь один из примеров гораздо более всеобъемлющего видения, это минимальная реализация того, что может быть командой из нескольких роботов. Здесь у нас было всего два робота, воздушный и роботизированный катер. Мы выбрали эти два, потому что способность ощущать воду связана с проблемами доступа. Но в этой команде легко может быть гораздо больше участников, скажем, робот, шагающий по земле, или транспортное средство-амфибия, которое может доставить всю команду роботов в потенциально опасную среду для удаленного развертывания.

Он может отреагировать на разлив нефти, как Deepwater Horizon, где мы видели фотографии воздействия на дикую природу, рыболовство и т. д. — а разливы нефти происходят постоянно. Или могут быть химические разливы. Например, когда ураган Харви обрушился на Хьюстон с его большим количеством перерабатывающих заводов, эти объекты были сильно затоплены, а некоторые близлежащие районы были окружены с трех сторон зараженной водой. Летучие органические соединения в воде в конечном итоге выделялись газом, что вызывало серьезные проблемы с дыханием — люди не знали, чем они дышат, но знали, что это влияет на них. Рабочие, пришедшие на очистку, также пострадали от загрязненной воды.

С нашей сенсорной системой вы будете точно знать, с чем имеете дело, и сможете соответствующим образом настроить свою реакцию. Но это может быть применимо и к другим случаям, таким как вредоносное цветение водорослей. Или, даже если стихийного бедствия нет, этот тип возможностей можно использовать для характеристики экосистем и проведения обследований инфраструктуры. Скажем, дороги, железные дороги и мосты, где автономные роботы с их датчиками могут быстро проводить подробные измерения.

А теперь представьте другой сценарий. Скажем, у вас есть воздушные роботы, как в этом примере. С гиперспектральным, тепловым и, скажем, радаром с синтезированной апертурой, смотрящим на текстуру поверхности, он может быть связан с наземным роботом, у которого есть георадар, ищущий пустоты или другие дефекты. Будь то туннель или дорога, полости образуются с использованием и атмосферными воздействиями. Там также много различных сценариев, которые вы можете использовать для сельского хозяйства. Он предназначен для всестороннего восприятия, которое, как и блоки Lego, вы можете использовать вместе, например, подключи и играй. Вы сможете быстро использовать их для целого ряда реальных случаев использования, когда решения, основанные на данных в реальном времени, обеспечивают большую прозрачность и защищают людей от опасности.

Технические обзоры: Если кто-то захочет использовать эту систему, ему понадобятся роботы и дроны, изготовленные по индивидуальному заказу, или вам нужен пакет, который можно установить на существующее устройство? Как вы представляете, как это станет практичным?

Доктор. Лари: Мне пришлось много лет бороться, чтобы все работало вместе. Одно дело купить оборудование, другое дело, чтобы компоненты работали вместе. Все, что мы покупали, было готово, потому что наши усилия были направлены, если не сказать лучше, на интеллектуальность, например на интеграцию программного обеспечения.

Сказав это, ключевым шагом для этих программно-разработанных датчиков, для которых мы используем машинное обучение, является калибровка по эталону или обучение на лету. Мы используем ту же идею для качества воздуха и распределяем по городам недорогие датчики, которые были откалиброваны по действительно дорогим эталонным датчикам. Мы можем развертывать датчики в масштабе района, что раньше было бы непомерно дорогим.

Имея возможность откалибровать недорогие датчики по эталону почти так же, как в этой группе роботов, мы откалибровали гиперспектральные измерения, сделанные с помощью возможностей дистанционного зондирования, по составу на месте, в данном случае воды, и вы можете достичь того, что в противном случае было бы очень и очень сложно.

На самом деле это сеть датчиков, сеть автономных часовых, совместно работающих с помощью машинного обучения, которая позволяет вам делать гораздо больше, чем любой из этих компонентов по отдельности.

Технические обзоры: Предвидите ли вы, что это будет коммерциализировано, построено частными компаниями, или вы видите, что в этом участвует правительство? Что вы видите в будущем?

Доктор. Лари: Моя мечта в будущем — иметь магазин, в котором отдельные лица, муниципалитеты или компании могли бы иметь свободный доступ к этим типам возможностей, а не только получать датчики, но и серверные услуги. Так что, когда вы подключаете и воспроизводите эти вещи вместе, они просто работают, и вам не нужно проходить долгую разработку. Национальный научный фонд классифицирует это как киберфизическую систему. Киберфизические системы — это в основном сенсорные системы в сочетании с алгоритмами, которые помогают вам принимать более правильные и своевременные решения.

Итак, моя мечта для всего этого, и над чем работают некоторые из нас — и мы приветствуем партнеров всех видов — это иметь кибер-физическую социальную обсерваторию. Это должно быть общенациональное учреждение, такое же, как астрономическая обсерватория с гигантским телескопом, потому что никто другой не может позволить себе делать что-то такого масштаба.

Представьте, что теперь у вас есть набор сенсорных возможностей с несколькими компонентами, которыми в нашем проекте являются воздушные роботы и роботизированная лодка. Но на самом деле наша система имеет девять типов часовых для различных типов ситуаций. Мы можем использовать дистанционное зондирование со спутников и метеорологических радаров. Помимо летательных аппаратов, у нас есть датчики на уровне улиц, круглосуточно передающие информацию о качестве воздуха, интенсивности света, ионизирующем излучении и так далее. У нас есть шагающие роботы, электрические наземные транспортные средства и роботизированные лодки, а также носимые датчики.

Мы также хотим иметь возможность многомасштабного зондирования глобальной глобальной картины со спутника. Итак, скажем, теперь мы вернемся к примеру с ураганом Харви. Задолго до того, как ураган Харви обрушился на сушу, мы могли видеть его со спутников, а затем, когда он приблизился к берегу, с помощью метеорологического радара. Но в ту минуту, когда он достигает берега, детали микроокружения становятся критически важными. Точная высота конкретных ручьев может иметь большое значение для местной окружающей среды. Итак, мы хотим иметь информацию как в глобальном крупномасштабном, так и в гиперлокальном масштабе, потому что мы с вами живем в этом очень локальном масштабе. Чтобы иметь возможность одновременно ощущать как крупномасштабные, так и локальные масштабы, нам действительно нужно несколько часовых.

Но тогда носимое зондирование также очень важно. Например, в некоторых параллельных работах, которые мы делаем, вы видите заголовки новостей, в которых говорится, что плохое качество воздуха делает вас «тупым». Но насколько глупо глупо? Какие загрязняющие вещества могут сделать нас глупее остальных? Итак, в одном из наших исследований мы используем всестороннее биометрическое зондирование и измеряем более 16 000 параметров в секунду вместе с комплексным зондированием около 2000 параметров окружающей среды, чтобы увидеть, как состояние окружающей среды влияет на нашу вегетативную реакцию.

Все это предназначено как для целостного восприятия, чтобы уберечь людей от опасности, так и для обнаружения того невидимого слона в комнате, который может повлиять на наше здоровье. Как только мы осознаем, что это такое, и сможем дать количественную оценку, обычно существует очевидный путь принятия решений, основанных на данных, чтобы улучшить ситуацию, а затем предпринять соответствующие следующие шаги для отслеживания нашего прогресса.

Это действительно моя мечта — быть катализатором этого целостного ощущения, чтобы уберечь людей от опасности:ощущение на службе общества. У нас есть много прототипов, которые мы пытаемся довести до того состояния, когда их можно будет использовать. Поэтому мы всегда приветствуем партнерские отношения, которые помогут ускорить это — от правительств, от отдельных лиц, местных муниципалитетов, общественных групп, компаний. Мы работаем со всеми этими типами объектов.

Технические обзоры: Похоже, вы изобретаете совершенно новую инфраструктуру.

Доктор. Лари: Мы пытаемся — это в основном обусловлено потребностями. Целостная информация может иметь такое большое значение, предоставляя нам информацию для принятия правильных решений. Это было бы нетривиально сделать без соответствующей инфраструктуры.

Технические обзоры: Звучит замечательно, я просто надеюсь, что когда-нибудь это можно будет реализовать.

Доктор. Лари: Я тоже, я тоже. Мы прошли долгий путь. Думаю, мы делаем первый шаг.

Другая часть находится за пределами физического, до которого я не дошел, это то, что у вас могут быть такие вещи, как прогулы в школе, что затем приводит к плохим результатам обучения. Но часто оказывается, что прогулы могут быть вызваны такими вещами, как астма. Астма возникает из-за большого количества пыльцы или загрязнения воздуха, и на самом деле это каскад эффектов — социальное взаимодействует с окружающей средой. Мы не хотим, чтобы это было односторонним. Мы хотим, чтобы триггерами для наблюдений были как то, что мы видим непосредственно при зондировании, так и социальные проблемы, такие как кластеры последствий для здоровья или цветение водорослей, которое может уничтожить рыбный промысел, или разлив нефти — это двустороннее взаимодействие.

Платформа данных, которая может объединить все эти слои параметров окружающей среды с социальными слоями, такими как тенденции смертности, невыходы на работу, заболеваемость раком и т. д., может помочь сделать процесс принятия решений, помогающих людям, намного более прозрачным и эффективным.

Технические обзоры: Над чем вы работаете сейчас? Каков ваш следующий шаг?

Доктор. Лари: Следующим шагом для этой конкретной команды роботов с лодками и летательным аппаратом будет улучшение различных аспектов этой автономной команды. И затем мы хотим расширить его, чтобы иметь больше членов команды. Например, иметь наземное транспортное средство-амфибию, которое может перевозить и лодку, и летательный аппарат в загрязненную среду, а затем развертывать их, а также самостоятельно проводить измерения. Кроме того, чтобы роботы были частью исправления.

Это разные компоненты, работающие вместе. Такого же типа команду можно также использовать для наблюдения за обслуживанием инфраструктуры, будь то дороги, рельсы или мосты, а также для других аспектов качества окружающей среды — качества воздуха, качества воды. Так что на самом деле это доказательство концепции было просто прототипом, чтобы показать:«Эй, действительно, это можно сделать, и теперь мы хотели бы масштабировать это во многих разных приложениях».

Также это могут быть прототипы для спутниковых миссий. Вы можете представить конвейер, в котором у вас есть доказательство концепции летательного аппарата. Затем он может перейти на другие платформы, такие как, например, CubeSat. Это также может быть частью процесса проверки, сбора данных для спутниковых миссий, а также сбора данных для любых других целей, которые я упомянул.

Отредактированная версия этого интервью была опубликована в выпуске журнала Tech Briefs за июнь 2021 г.