Быстрая обратная засветка: съемка более 1 миллиона кадров в секунду

Скоростью более 1 миллиона кадров в секунду высокоскоростная съемка является незаменимым инструментом исследований, способным улавливать самые мимолетные события в научных и инженерных приложениях. Однако достижение такой скорости имеет свои ограничения. Большинство высокоскоростных камер проектируются для достижения максимальной пропускной способности в гигапикселей в секунду (Gpx/с), что подразумевает компромисс между частотой кадров и разрешением. Например, камера с пропускной способностью 25 Gpx/с обеспечивает 25 700 кадров в секунду (fps) при разрешении 1280 × 800 пикселей и может достичь более высокой частоты 28 500 fps при меньшем разрешении 1280 × 720. Обе комбинации имеют почти одинаковую пропускную способность. Очень высокие частоты кадров, такие как 1 миллион fps, сопровождаются очень низким разрешением, что затрудняет рассмотрение объекта съемки.

Проблема экспозиции и освещения

По мере увеличения частоты кадров время экспозиции пикселя сокращается. При 25 700 fps максимальная экспозиция каждого кадра составляет 39 микросекунд (мкс), а при 1 миллионе fps — всего 733 наносекунды (нс). Такие короткие времена экспозиции требуют высокого уровня освещения для компенсации краткого времени накопления света. На практике многие высокоскоростные приложения страдают от нехватки света: из-за сверхкоротких экспозиций при высоких частотах доступное освещение не обеспечивает достаточное количество света на матрицу камеры для получения качественного изображения, а в некоторых случаях становится непрактичным.

Операторы высокоскоростных камер научились балансировать между потребностью в скорости, разрешении и адекватном освещении. Они получают впечатляющие снимки, продвигая границы научного понимания и инженерного анализа, но компромиссы становятся всё более сложными по мере расширения возможностей высокоскоростной съемки.

Прорыв: матрицы с обратной засветкой (BSI)

Недавно был сделан технический прорыв, ослабляющий ограничение «скорость — разрешение — чувствительность». Разработан новый высокоскоростной образцовый сенсор, использующий технологию обратной засветки (BSI) для увеличения площади пикселя, способной захватывать фотоны. Благодаря более эффективному сбору света BSI-сенсор лучше подходит для приложений, требующих высоких частот кадров. В этой камере пропускная способность — произведение максимальной частоты кадров на максимальное разрешение — увеличилась в три раза по сравнению с предыдущими поколениями высокоскоростных CMOS-сенсоров. Новый сенсор дебютировал в марте 2021 года в камерах Phantom TMX, самая быстрая из которых способна снимать 76 000 fps при полном разрешении 1280 × 800 пикселей.

Перенос BSI в высокоскоростные приложения

До недавнего времени CMOS-сенсоры в высокоскоростных камерах основывались на архитектуре с прямой засветкой (FSI), где металлическая проводка над фотодиодами обращена к источнику света. Эта проводка перекрывает часть падающего света, снижая коэффициент заполнения и чувствительность сенсора.

BSI-сенсоры имеют толстый носительный пласт сверху металлического стека. Это позволяет уменьшить объемный кремний и перевернуть структуру, exponируя фотодиоды к источнику света, а металлическую поверхность — сзади. У BSI-сенсоров в высокоскоростной съемке два существенных преимущества: улучшенный коэффициент заполнения за счет прямого пути света к светочувствительной поверхности (см. рис. 1) и повышенная скорость обработки за счет большего количества металла на металлической поверхности сенсора.

• Улучшенный коэффициент заполнения: Эффективность захвата падающего света выражается через коэффициент заполнения сенсора — процент площади пикселя, способного захватывать фотоны. Типичный FSI-сенсор для высокоскоростной съемки имеет коэффициент заполнения 50–60%, частично компенсируемый микролинзами. Перенос проводки в сторону позволяет новому BSI-сенсору достичь коэффициента заполнения, близкого к 100%.

• Повышенная скорость обработки: Базовая скорость пиксельного массива ограничена RC-постоянными времени, а добавление металла снижает сопротивление и увеличивает скорость. В FSI-сенсорах количество металла на передней стороне ограничено необходимостью пропускать свет к фотодиодам, что создает накладные расходы на скорость обработки. При росте частоты кадров и снижении разрешения камера не может обеспечить максимальную пропускную способность Gpx/с из-за этих потерь. BSI-сенсоры лишены этого ограничения и могут иметь значительно больше металлической проводки, практически устраняя накладные расходы. Это позволяет BSI-сенсору сохранять максимальную пропускную способность даже при очень высоких частотах кадров и низких разрешениях.

BSI-сенсоры более 10 лет используются в смартфонах и обычных цифровых камерах, демонстрируя преимущества в улучшении работы при слабом освещении и динамическом диапазоне. Почему их внедрение в высокоскоростную съемку заняло столько времени? В одном слове — размер.

Сенсоры и пиксели высокоскоростных камер значительно больше стандартных, чтобы минимизировать компромиссы между скоростью, разрешением и чувствительностью. Например, пиксель смартфона может быть менее 2 мкм с каждой стороны, тогда как пиксели нового сенсора составляют более 6 мкм и до 28 мкм с каждой стороны.

Производственный процесс BSI-сенсоров сложнее, чем FSI, и требует дополнительных этапов: тонкошлифовку обратной стороны пластины для приближения фотодиодов к источнику света, дополнительную обработку обратной стороны для отжига поверхности и создания электрических контактов к передней стороне. Крупные размеры высокоскоростных сенсоров усугубляют производственные трудности. Экономика полупроводниковых производств также затрудняла перенос технологии из больших объемов потребительских камер в сравнительно малые объемы высокоскоростных сенсоров. Потребовалось время для отладки процесса и достижения практических выходов годной продукции.

Ожидание BSI-сенсора оправдалось. Он устанавливает новые стандарты по:

• Скорости. Первая камера с этим сенсором снимает 76 000 fps при полном 1-мегапиксельном разрешении (1280 × 800) и достигает скоростей более чем на порядок выше при сниженном разрешении и биннинге. Например, максимум — 1,75 миллиона fps при разрешении 1280 × 32 и биннинге 640 × 64 пикселя. Исторически разрешения при частотах выше 1 млн fps были слишком низкими для научного использования, но 1280 × 32 представляет действительно пригодное разрешение для широкого круга задач.

• Времени экспозиции. Новый сенсор поддерживает минимальные времена экспозиции до 95 нс с опцией Export Controlled FAST. Такие короткие экспозиции позволяют запечатлевать всё более быстрые события без размытия по движению, что может быть ограничивающим фактором в таких приложениях, как цитометрия и анализ горения.

• Размеру пикселя. Для работы в условиях нехватки света высокоскоростные камеры исторически использовали очень большие пиксели. Существующий ультра-высокоскоростной FSI-сенсор имеет пиксель 28 мкм (площадь 784 мкм²). Новый BSI-сенсор имеет пиксель 18,5 мкм, но благодаря мастерству в захвате света он примерно в три раза чувствительнее при в три раза более высокой скорости, чем предыдущие FSI-сенсоры с пикселями 28 мкм. Меньшие пиксели также улучшают частоту дискретизации (Найквист), позволяя сенсору разрешать более высокие пространственные частоты до возникновения алиасинга. Это повышает производительность системы визуализации в потоковой цитометрии, частичной визуализации скоростей (PIV), цифровой корреляции изображений (DIC) и других высокоскоростных приложениях, ограниченных разрешающей способностью сенсора.

Помимо BSI

Прорывные характеристики нового дизайна сенсора в основном опираются на его BSI-архитектуру, но в дизайне есть и другие особенности, повышающие производительность сверх возможностей BSI — особенно в части считывания огромных объемов видеоданных на высокой скорости и увеличения пропускной способности.

Решение проблем аналого-цифрового преобразования. Встраивание АЦП в CMOS-сенсоры — стандартная практика, но скорость BSI-сенсора потребовала массового увеличения количества АЦП. В то время как современные CMOS-сенсоры обычно имеют от 1 000 до 10 000 встроенных АЦП, новый высокоскоростной BSI-сенсор содержит 40 000 АЦП, каждый из которых преобразует сигнал каждые 523 нс, генерируя большой объем данных для выгрузки с сенсора. Для этого в нем реализовано 160 высокоскоростных последовательных выходов, работающих на частоте выше 5 Гбит/с. Эта технология распространена в CPU и FPGA, но нова для высокоскоростных образцовых сенсоров.

Высокая плотность АЦП создала проблемы управления питанием и электрических перехлестов, которые были решены с помощью партнера по проектированию и интегрированному производству — компании Forza Silicon. Хотя симуляции часто используются для предсказания характеристик сенсора, в данном случае расчеты занимали недели. Forza имеет значительный опыт упрощения симуляций и анализа реальных vs предсказанных результатов для быстрых изменений дизайна. При тестировании ранних версий обнаружился более высокий уровень перехлестов АЦП как в обычном режиме, так и в режиме биннинга, чем предсказывали инструменты симуляции, что вызывало заметные артефакты на изображениях. Инженеры Forza обнаружили, что перехлесты проявляют предсказуемые паттерны и разработали моделирующие техники, полностью устранившие перехлесты и, следовательно, артефакты изображения.

Биннинг для максимальной пропускной способности. Сенсор поддерживает 2×2 биннинг для максимизации пропускной способности на более высоких скоростях. Хотя биннинг нечасто встречается в высокоскоростных сенсорах, компания уже реализовывала его в двух предыдущих камерах. Он помогает обойти ограничения архитектуры столбцовых АЦП, позволяя достичь более высоких скоростей, чем простое уменьшение Y-размера. Этот подход тонко отличается от биннинга в CCD-камерах, где он используется в основном для повышения чувствительности. Здесь он применялся для повышения скорости.

Разница BSI

BSI — не новая технология, она с успехом применялась в обычных и смартфонных камерах. Адаптировав её для высокоскоростной съемки, создан сенсор, сдвигающий границы скорости в условиях нехватки света.

Статью написали Раду Корлан, главный ученый, и Кевин Ганн, вице-президент по R&D, Vision Research (Уэйн, штат Нью-Джерси); и Лок Чжуонг, вице-президент по инженерии, Forza Silicon (Пасадена, штат Калифорния). Для получения дополнительной информации свяжитесь с г-ном Ганном по адресу This email address is being protected from spambots. You need JavaScript enabled to view it. или посетите сайт .