Система использует камеры смартфона или компьютера для измерения состояния здоровья

Телемедицина стала важным способом для врачей по-прежнему оказывать медицинскую помощь, сводя к минимуму личные контакты во время COVID-19. Но при телефонных или онлайн-встречах врачам сложнее получать от пациента важные жизненные показатели, такие как пульс или частота дыхания, в режиме реального времени.

В этом методе камера на смартфоне или компьютере человека используется для получения пульса и сигнала дыхания из видеозаписи его лица в реальном времени. Чтобы машинное обучение было полезным для дистанционного контроля состояния здоровья, система должна определить интересующую область на видео, которое содержит самый надежный источник физиологической информации, такой как пульс, а затем измерять ее с течением времени. Поскольку все люди разные, система должна быстро адаптироваться к уникальным физиологическим характеристикам каждого человека и отделять их от других вариаций, таких как их внешний вид и среда, в которой они находятся.

Система команды сохраняет конфиденциальность — она работает на устройстве, а не в облаке — и использует машинное обучение для фиксации тонких изменений в том, как свет отражается от лица человека, что коррелирует с изменением кровотока. Затем он преобразует эти изменения в пульс и частоту дыхания.

Первая версия этой системы была обучена с использованием набора данных, который содержал как видеозаписи лиц людей, так и «наземную информацию»:пульс и частоту дыхания каждого человека, измеренные стандартными приборами в полевых условиях. Затем система использовала пространственную и временную информацию из видео для расчета обоих показателей жизнедеятельности. Он превзошел аналогичные системы машинного обучения на видео, где объекты двигались и разговаривали. Но в то время как система работала хорошо с некоторыми наборами данных, она по-прежнему боролась с другими, которые содержали других людей, фоны и освещение — распространенная проблема, известная как «переобучение».

Исследователи улучшили систему, заставив ее создавать персонализированную модель машинного обучения для каждого человека. В частности, это помогает искать важные области в видеокадре, которые, вероятно, содержат физиологические особенности, связанные с изменением кровотока на лице в различных контекстах, таких как разные оттенки кожи, условия освещения и окружающая среда. Оттуда он может сфокусироваться на этой области и измерить пульс и частоту дыхания.

Хотя эта новая система превосходит свою предшественницу при работе с более сложными наборами данных, особенно для людей с более темным оттенком кожи, предстоит еще много работы. По-прежнему существует тенденция к ухудшению качества изображения, когда у объекта более темный тип кожи, отчасти потому, что свет по-разному отражается от более темной кожи, в результате чего камера получает более слабый сигнал.

Любая возможность дистанционно измерять пульс или частоту дыхания открывает новые возможности для удаленного ухода за пациентами и телемедицины. Это может включать самопомощь, последующее лечение или сортировку, особенно если у кого-то нет удобного доступа в клинику.