Мониторинг здоровья в реальном времени с камерами смартфона и компьютера

Телемедицина стала критической способностью для врачей по-прежнему предоставлять медицинскую помощь, минимизируя личный контакт во время COVID-19. Но с телефонными или онлайн- назначениями, труднее для врачей получать важные жизненные показатели от пациента, такие как их пульс или частота дыхания, в реальном времени.

Метод использует камеру на смартфоне или компьютере человека, чтобы взять их пульс и респираторный сигнал из видео их лица в реальном времени. Для того чтобы машинное обучение было полезным в удаленном медицинском сенсировании, система должна идентифицировать регион интереса в видео, который держит самый сильный источник физиологической информации — такой как пульс — и затем измерять это во времени. Поскольку каждый человек разный, система должна быстро адаптироваться к уникальной физиологической подписи каждого человека и отделять это от других вариаций, таких как как они выглядят и в какой среде они находятся.

Система команды сохраняет приватность — она работает на устройстве вместо облака — и использует машинное обучение для захвата тонких изменений в том, как свет отражается от лица человека, что коррелирует с меняющимся кровотоком. Затем она конвертирует эти изменения в оба пульс и респираторную частоту.

Первая версия этой системы обучалась на наборе данных, содержащем оба видео лиц людей и «истинную» информацию: пульс и респираторная частота каждого человека, измеренная стандартными инструментами в поле. Система затем использовала пространственную и временную информацию из видео для расчета обоих жизненных показателей. Она превзошла похожие системы машинного обучения на видео, где субъекты двигались и говорили. Но пока система хорошо работала на некоторых наборах данных, она все еще боролась с другими, которые содержали разных людей, фоны и освещение — общая проблема, известная как «переобучение».

Исследователи улучшили систему, заставив ее производить персонализированную модель машинного обучения для каждого индивид. Конкретно, это помогает искать важные области в кадре видео, которые вероятно содержат физиологические признаки, коррелирующие с меняющимся кровотоком в лице под разными контекстами, такими как разные тона кожи, условия освещения и среды. Оттуда она может фокусироваться на той области и измерять пульс и респираторную частоту.

Хотя новая система превосходит своего предшественника при более сложных наборах данных, особенно для людей с более темными тонами кожи, есть еще работа сделать. Все еще есть тренд к худшей производительности, когда тип кожи субъекта темнее, частично потому что свет отражается иначе от более темной кожи, результатом чего более слабый сигнал для камеры для подбора.

Любая способность чувствовать пульс или респираторную частоту удаленно предоставляет новые возможности для удаленного ухода за пациентами и телемедицины. Это может включать самоуход, последующий уход или триаж, особенно когда у кого-то нет удобного доступа к клинике.