Рекомендации по проектированию освещения для роботизированных хирургических систем машинного зрения

Цель робототехники и роботизированной хирургии — дать хирургам возможность выполнять сложные, ранее недоступные процедуры с повышенной точностью, что приводит к сокращению хирургического вмешательства и времени восстановления, а также снижению рисков для пациентов. Роботизированная хирургия оказала значительное влияние на многие приложения, включая простатэктомию, нефрэктомию и гистерэктомию, колоректальную хирургию. Благодаря последним достижениям в области технологий сейчас разрабатывается больше приложений для робототехники, чем когда-либо прежде.

Чтобы улучшить хирургический рабочий процесс, доступ к месту и время восстановления, новые инновации появляются во всех подсистемах хирургической роботизированной архитектуры. Улучшение качества изображения с точной и последовательной визуализацией позволяет хирургам принимать более обоснованные хирургические решения во время процедуры. Системы хирургического зрения сочетаются с камерами с широким полем зрения и компонентами оптоволоконного или светодиодного освещения. Однако зачастую при разработке продукта требованиям к производительности и конструкции системы освещения уделяется гораздо меньше времени и ресурсов, чем камере.

Чтобы иметь успешный продукт, необходимо учитывать все необходимые подсистемы для обеспечения высококачественного освещения. Конкретным примером такой ситуации является 3D-лапароскоп высокого разрешения, в котором используется камера с чипом на наконечнике.

Система трехмерного хирургического зрения состоит из четырех ключевых подсистем:

<ол тип="1">

Система освещения, которая освещает хирургическую мишень,

Камера (линзы и датчик CMOS) для захвата света от ткани,

Прошивка для управления качеством изображения и задержкой, а также

Система отображения (комбинация 2D- и 3D-дисплеев).

У каждой подсистемы есть свои ключевые вопросы, которые должна рассмотреть группа разработчиков.

Клинические приложения

Прежде чем приступить к разработке надежной системы освещения, инженер-конструктор должен иметь полное представление о целях клинической бригады в отношении данной хирургической процедуры. Часто менеджер по продукту, выступающий в роли «голоса заказчика», определяет предикатное устройство и запрашивает «наилучшее качество изображения». Группа исследований и разработок должна будет преобразовать этот запрос в количественные требования, определив способы визуализации и числовые ограничения на FOV, разрешение, точность цветопередачи и контрастность изображения в качестве примеров, что в конечном итоге приведет к полным требованиям к продукту. В этой статье мы рассмотрим источник света для 3D-лапароскопа с полем зрения камеры 80° и рабочим расстоянием от 5 до 100 мм. В первую очередь мы рассмотрим применение белого света, но также обсудим вопросы флуоресценции.

Чтобы прояснить это, мы рассматриваем здесь конструкцию системы освещения на основе волокна со светодиодным световым двигателем, установленным в ограниченном корпусе оборудования как часть «капитального оборудования», то есть башни обзора. К основному оборудованию относится тележка, в которой обычно размещаются система обзора и дополнительные системы управления хирургической платформой. Предполагаемая архитектура хирургической системы представляет собой жесткий стереолапароскоп для использования в роботизированной хирургической системе. Чтобы снизить риск для графика, безопасности и будущих потребностей пользователей при интеграции флуоресцентной или другой визуализации, зависящей от источника, мы рассмотрим решение на основе оптоволокна. Авторы высоко оценивают прогресс светодиодов в размерах и эффективности и расскажут о возможностях дизайна в конце статьи.

Вопросы освещения для роботизированной хирургии

На рис. 1 показаны основные системные архитектуры системы освещения для платформы роботизированной хирургии. Чтобы доставить свет в прицел, требуется источник освещения — в данном случае световой двигатель. Световой двигатель при необходимости направит свет в конус волокна, а затем доставит его в волокна, которые будут передавать свет на наконечник.

Световой двигатель – это источник света, который устанавливается в капитальном оборудовании. Существуют разные архитектуры для этих источников, но их можно разделить на два основных типа. Некоторые световые двигатели будут использовать один широкополосный источник, в то время как другие будут использовать преимущества комбинирования узкополосных светодиодов для создания широкополосного источника. Для одного широкополосного светодиода может потребоваться коррекция синего света из-за архитектуры белого светодиода, в которой синий светодиод используется для активации люминофора. Большая часть синего света поглощается красными тканями. Сигнал с высоким уровнем синего в спектрах может привести к проблемам на этапе настройки цвета и потенциально к тому, что изображения будут выглядеть слишком оцифрованными или «фальшивыми». Смешанный подход RGB LED может устранить проблемы с избыточным синим светом, но требует более сложной оптики в световом механизме, чтобы соединить три источника в систему. Если для системы требуется освещение в ближнем инфракрасном диапазоне (БИК), светодиоды ближнего ИК-диапазона также устанавливаются в осветительном механизме, что упрощает конструкцию.

Размещая светодиоды RGB и NIR в одном корпусе, источники света могут использовать одни и те же волокна, которые доставляют свет к наконечнику. Это максимизирует эффективность системы освещения эндоскопа. Для передачи света от источника света к наконечнику эндоскопа требуется волоконная оптика с высокой числовой апертурой (ЧА), а также оптическая система для передачи света от источника к наконечнику. Термином для описания углового выхода волокна является числовая апертура или NA. Чем выше числовая апертура, тем выше угловой выход волокна. Числовая апертура равна синусу наибольшего угла, который может входить в волокно и выходить из него. Числовая апертура волокна определяется показателем преломления сердцевины и оболочки волокна. Чем выше числовая апертура, тем под большим углом свет выходит из волокна, освещая больший процент поля зрения.

Чтобы получить максимальную производительность от оптоволоконного кабеля, команда разработчиков должна учитывать взаимосвязь между выходной мощностью светового двигателя и оптоволоконным кабелем. Распространенным решением является использование конуса волокна для увеличения угла входа света в эндоскоп. Конус волокна обычно устанавливается на проксимальном конце эндоскопа, где подсоединяется световой кабель. Конус волокна преобразует выходной сигнал большой площади под малым углом светового двигателя в выходной сигнал малой площади под большим углом.

Числовая апертура света, выходящего из светового короба, обычно составляет порядка 0,5 числовой апертуры, углы, связанные с хирургической робототехникой, могут достигать 0,87 числовой апертуры или выше. Волокна, которые подключаются к световому коробу, должны быть равны выходной числовой апертуре светового короба. Конус преобразовывает свет под малым углом в свет под большим углом для достижения самого широкого угла освещения. На рис. 2 показано, что происходит с лучом света, входящим в конус и выходящим из него.

Альтернативой использованию конуса для достижения больших выходных углов является разработка линзы для рассеивания света, выходящего из кончика лапароскопа. Система освещения с помощью объектива обеспечивает более высокие выходные углы, что позволяет использовать камеры с более широким полем зрения для использования в теле, но за счет менее компактной конструкции.

Как только свет передается на волоконную оптику лапароскопа, волокна упаковываются для вывода света через кончик, как показано на рисунке 3. Это более выгодно, чем иметь одну поверхность для вывода света, по двум причинам. Во-первых, это облегчает интеграцию волокон в эндоскоп, а во-вторых, предотвращает появление нежелательных теней от хирургических инструментов, влияющих на изображение.

Вопросы по калибровке и тестированию

При проектировании источника света команда также должна учитывать конвейер сигналов изображения (ISP), который будет преобразовывать захваченное изображение и отображать его на 2D- и 3D-мониторе высокой четкости для хирургической бригады. ISP может иметь различные калибровки, применяемые к системе, включая неравномерность темнового сигнала на датчике изображения, неравномерность фотоотклика, калибровку цвета и баланс белого. Эти калибровки позволяют вносить исправления, которые создают высококачественное изображение; однако, если интернет-провайдер слишком сильно полагается на калибровку, изображение может выглядеть сильно обработанным и отвлекать хирургическую бригаду.

Интернет-провайдер будет иметь блоки, требующие калибровки каждого блока. Данные калибровки обычно сохраняются в памяти, установленной на эндоскопе. Раннее начало определения процесса калибровки и координация с инженерами-разработчиками интернет-провайдера снизят риск возникновения проблем на поздних стадиях разработки. Принимая во внимание ISP и калибровку на ранней стадии, возможны несколько версий источника света и прошивки до запуска продукта. Калибровки имеют ограничения, и если система освещения спроектирована ближе к предполагаемому хирургическому использованию, требуется меньше устранения неполадок калибровки в процессе разработки.

Примерами калибровок, связанных с источником освещения, являются неравномерность фотоотклика (PRNU), баланс белого и коррекция цвета. Все эти калибровки имеют ограниченную эффективность, если сам источник света имеет некачественную конструкцию. Использование калибровок для «исправления» конструкции источника света может привести к тому, что полученное изображение будет выглядеть переработанным. Кроме того, если интернет-провайдер должен выделить память для калибровки, существует риск увеличения задержки системы машинного зрения, что снизит производительность робота.

Наконец, после того, как световой механизм, освещение, оптика изображения и прошивка камеры разработаны, требуется надлежащее тестирование. Часто компоненты системы освещения требуют 100% проверки и калибровки источников основного оборудования и лапароскопов. Эти тесты требуют работы тестируемого устройства в различных условиях с использованием специализированных мишеней для измерения точности цветопередачи, однородности и выходной мощности. Разработка системы для автоматизации этих испытаний снижает риск изменчивости между деталями и тестировщиками, обеспечивая соблюдение стандартов продукции в полевых условиях. Для этих испытательных станций требуется детальный механический, системный и программный дизайн, чтобы обеспечить их успешное развертывание на производственных площадках.

Есть и другие соображения для эндоскопии или приложений с гибким эндоскопом. Эти устройства часто имеют больше ограничений по пространству, доступному для освещения, могут иметь только 2D-изображение, быть одноразовыми или иметь другие предостережения, не относящиеся к параметрам, представленным в статье. Для устройств малого диаметра и одноразовых устройств пластиковые волокна, светодиоды в наконечнике и другие, более компактные решения могут обеспечить успешный продукт, в котором учитываются различные конструктивные соображения и меры по снижению рисков.

Подводя итог, можно сказать, что разработка компонентов освещения для роботизированных хирургических систем представляет собой сложный процесс. Следует начать с полного понимания клинического применения и развивать это понимание. Если кто-то проектирует роботизированную систему для приложений белого света и NIR, мы рекомендуем конструкцию, основанную на использовании волокна с высокой числовой апертурой со световым двигателем, установленным в основном оборудовании. Для достижения максимально широкого угла освещения рекомендуется использовать волокна с высокой числовой апертурой для подачи света на наконечник устройства. Это наиболее лаконичный подход к дизайну, который позволяет избежать чрезмерно сложного дизайна. Другие решения могут привести к пробелам в функциональности, что приведет к созданию обходного пути.

Эта статья была написана Джонатаном Брэндом, инженером по оптическим системам, и Нилом Андерсоном, доктором философии, вице-президентом по продажам и маркетингу, Gray Optics (Портленд, Мэн). Для получения дополнительной информации свяжитесь с Нилом Андерсоном по адресу Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра или посетите здесь .