Выбор правильного устройства Redriver или Retimer для расширения диапазона сигнала протокола PCIe

Устройства с восстановлением или восстановлением таймера могут расширять диапазон сигналов протокола PCIe® (Peripheral Component Interface Express). В этой статье обсуждается, как выбрать лучший вариант для вычислительной системы и приложений хранения NVMe ™ сегодня и в будущем.

Требования к скорости передачи данных высокопроизводительных систем облачных вычислений продолжают расти и создают серьезную проблему целостности сигналов для широкого диапазона компонентов при развертывании оборудования центров обработки данных. Увеличение скорости передачи данных приводит к уменьшению дальности передачи сигнала и может ограничивать масштабируемость системы. Хотя восстановитель или ретаймер могут помочь устранить это ограничение, каждое из них имеет свои преимущества и недостатки.

В этой статье описывается, как эти устройства могут расширить диапазон сигналов протокола Peripheral Component Interface Express (PCIe®) и как выбрать лучший из них для вычислительной системы и приложений хранения NVMe ™.

Проблема целостности сигнала PCIe

Стандарт интерфейса PCIe - один из самых популярных интерфейсов, используемых в современных высокопроизводительных вычислительных системах и центрах обработки данных. Скорость передачи данных PCIe изменилась с 2,5 Гбит / с первого поколения (Gen1) до 32 Гбит / с пятого поколения (Gen5). Шестое поколение 6 (Gen6) снова удвоит скорость передачи данных по сравнению с предыдущей версией. Поскольку частоты увеличивались для поддержки все более высоких скоростей передачи данных, поддержание достаточной целостности сигнала при разумной стоимости системы стало проблемой. Устройства Redriver и Retimer - это решения, которые могут помочь преодолеть разрыв.

Печатные платы FR4 - самый популярный и экономичный материал в электронной промышленности. Материал печатной платы FR4 хорошо работает на относительно низких частотах с приемлемым затуханием ниже 10 ГГц. Однако по мере увеличения скорости передачи частотная характеристика материала FR4 уменьшается.

Другие материалы для печатных плат, такие как Megtron 6, имеют лучшую частотную характеристику и меньше потерь сигнала, но имеют значительную надбавку. Например, Megtron 6 примерно в семь раз дороже FR4. Другие материалы, которые могут работать в микроволновом диапазоне частот, имеют еще более высокую надбавку. Приведенное ниже уравнение аппроксимирует потери сигнала в дБ / дюйм из-за потерь на трассе и диэлектрических потерь.

Где:

• W =ширина дорожки в милах, при этом предполагается, что для этого расчета 5 мил.
• F =частота в ГГц.
• Df =коэффициент рассеяния или тангенс угла потерь (в зависимости от материала печатной платы)
• Dk =диэлектрическая проницаемость (зависит от материала печатной платы)

На рисунке 1 показан график затухания на печатной плате для материалов печатных плат FR4 и Megtron 6. В зависимости от сложности и размера печатной платы стоимость перехода на печатную плату из высококачественного материала может быть непомерно высокой.

Рисунок 1. Зависимость затухания от частоты от материала печатной платы

Некоторым приложениям могут потребоваться соединители для доставки сигналов к другим частям конструкции, таким как объединительные платы и внешние карты расширения. Разъемы вносят дополнительный вклад в потерю сигнала. Разъем PCIe CEM добавляет потери около 1,5 дБ при 32 Гбит / с. Стандарт PCIe Gen5 предписывает, что допустимый бюджет потери канала составляет 36 дБ от конца до конца.

Использование редрайвера или ретаймера может помочь поддерживать целостность сигнала PCIe. Чтобы сделать правильный выбор, необходимо базовое понимание различий между ними.

Объяснение Redriver

Редрайвер - это широкополосный усилитель с эквалайзером (EQ) на стороне приема (RX) для компенсации частотно-зависимого затухания из-за дорожек на печатной плате или кабелей. Основная функция эквалайзера непрерывной шкалы времени (CTLE) - открыть закрытый глазок искаженного сигнала. Сторона передачи (TX) может включать в себя функцию предварительного выделения (эквалайзер передачи) для предварительного формирования формы волны передачи.

Целостность сигнала последовательных интерфейсов, таких как DisplayPort, USB, Thunderbolt, HDMI и PCIe, может быть улучшена за счет размещения на его пути редрайвера, если трасса или длина кабеля выходит за пределы их стандартной досягаемости. Аналоговый усилитель не делает различий между какими-либо конкретными стандартами протокола, потому что в нем нет процесса обучения канала. Поскольку канал не зависит от протокола, он может стать несовместимым с какими-либо стандартами интерфейса. Он не требует часов из-за его аналоговой схемы.

Основным недостатком редрайвера является то, что он не только усиливает сигнал данных, но также усиливает любой шум на пути прохождения сигнала. Усилитель сам имеет минимальный уровень шума и может добавлять свой собственный шум к общему коэффициенту шума сигнала. Типичный эквалайзер с линейным преобразователем частоты добавляет к сигналу 8ps собственного джиттера и корректирует джиттер межсимвольных помех (ISI). Редрайвер не может компенсировать дрожание, не связанное с ISI. По сравнению с ретимером, восстановитель в некоторых случаях имеет меньшее энергопотребление и общую стоимость. Типичная задержка переадресации составляет около 100 пс.

На рис. 2 показаны основные строительные блоки аналогового однополосного перенаправителя.

Рисунок 2. Блок-схема однополосного перенаправителя

Широкополосный усилитель в преобразователе частоты может быть как линейным, так и ограничивающим (нелинейным). Линейный усилитель может обеспечивать некоторые функции обучения псевдоканалу для протокола PCIe, в зависимости от реализации конструкции. Ограничительный усилитель не поддерживает никаких типов обучающей последовательности канала для любого протокола. Усилитель-ограничитель поддерживает только два пороговых уровня для определения состояния принимаемого сигнала. Поскольку для большинства обучающих импульсов линии связи требуется обнаружение промежуточных пороговых значений, преобразователю очень сложно поддерживать обучающие последовательности. Это «слепое пятно» ограничивающего усилителя.

У редрайверов есть свои пределы

Redrivers могут поддерживать скорости передачи данных PCIe Gen 1 - Gen 3, когда приложение достаточно маленькое и имеет ограниченную сложность для увеличения расстояния передачи сигнала. Однако по мере увеличения масштаба и сложности конструкции преобразователь больше не может компенсировать потерю сигнала, по-прежнему используя экономичные материалы. Каскадирование двух редрайверов для решения проблемы нецелесообразно. Любой шум или случайный джиттер будут усиливаться вместе с желаемым сигналом. Аналоговый усилитель не может сбросить шум или временной бюджет. Следовательно, каскадирование двух редрайверов фактически удвоит количество шума для данных.

PCIe Gen 4 со скоростью передачи данных 16 Гбит / с представляет собой еще большую проблему с точки зрения целостности сигнала. Большинство интерфейсных приложений PCIe Gen 4 находятся в облачных хранилищах, серверах и высокопроизводительных вычислительных платформах, где каналы со скоростью 16 Гбит / с должны управляться по длинным дорожкам, разъемам, кабелям, слотам и дополнительным картам (AIC). Redriver просто не может использоваться при таких скоростях передачи данных в сценариях использования инфраструктуры центра обработки данных.

Выпуск PCIe 5.0 в 2019 году повысил скорость передачи данных до 32 Гбит / с. Высокопроизводительные сетевые системы, использующие Ethernet 400 Гбит / с, мульти-200 Гбит / с InfiniBand, а также компоненты и технологии ускорителя / графического процессора, являются основными драйверами для развертывания постоянно увеличивающейся скорости соединения PCIe. Компоненты твердотельных накопителей NVMe, развернутые в корпоративных серверах и системах хранения, являются еще одним фактором повышения скорости передачи данных. Другие последовательные протоколы USB4.0, DisplayPort 2.0 и Thunderbolt 3.0 также со временем удваивают скорость передачи данных.

Retimer спешит на помощь

Учитывая необходимость решения этих проблем целостности высокоскоростного сигнала, стандарт PCIe, начиная с PCIe Gen 4, определил требования к временному ограничению PCIe. Стандарт определяет ретаймер как компонент, который «поддерживает протокол физического уровня и должен взаимодействовать с любой парой компонентов с любым совместимым каналом на каждой стороне ретаймера». В результате ретаймеры имеют гораздо более высокую степень сложности, чем редрайвер. В разделе 4.3 спецификаций PCIe Gen 4 и PCIe Gen 5 подробно описаны требования к восстановлению таймера.

На рис. 3 показана высокоуровневая блок-схема однолинейного двунаправленного ретаймера.

Рисунок 3. Блок-схема Ретимера

В стандарте PCIe это называется конфигурацией PCIe x1. Большинство ретаймеров PCIe имеют размер x4 (всего 8 полос:4 RX и 4 TX), x8 (16 полос) или x16 (32 полосы).

Физический уровень - это присоединение физического носителя (PMA:Physical Sub-Block), где расположен сериализатор / десериализатор (SERDES), который принимает и передает данные. PMA - это строительный блок смешанного сигнала. На стороне приемника искаженный сигнал выравнивается и шум фильтруется с помощью CTLE.

Сердце ретаймера - блок Clock and Data Recovery (CDR). CDR восстанавливает встроенные часы вместе с данными в параллельном домене. Блок PMA сериализует параллельные данные для передачи и десериализует полученные данные в блок подуровня физического кодирования (PCS).

Блоки контроля глаз генерируют в реальном времени захват глазковой диаграммы приема для целей отладки. PCS обрабатывает конечный автомат состояния обучения канала (LTSSM) и функции PIPE (интерфейс PHY для PCIe). PCS - это чисто цифровой раздел.

В таблице 1 приведены основные различия между восстановителем и ретаймером.

Таблица 1. Сравнение Redriver и Retimer

Примеры ретаймеров в приложении PCIe

Стандарт PCIe - это основной интерфейсный стандарт, используемый в компонентах, развернутых в центре обработки данных для хранения, серверов и сетевой инфраструктуры. ЦП используют высокоскоростные интерфейсы PCIe для доставки транзакций ввода-вывода в качестве корневого комплекса PCIe на подключенные твердотельные накопители или другие компоненты конечных точек. На рисунке 4 в качестве примера показана топология от ЦП до этих конечных точек. Коммутатор PCIe обеспечивает дополнительное разветвление для поддержки большего числа конечных точек назначения. Ретаймеры теперь являются необходимыми компонентами для поддержки расширения сигнала через платы ЦП, объединительные платы, кабели и дополнительные карты.

Рисунок 4. Пример сервера с ретаймером PCIe

Кроме того, ретаймеры PCIe часто используются для поддержки согласования сигналов, когда на пути передачи данных находятся кабели и / или несколько разъемов. Ретимеры часто используются между ЦП и конечными точками, как указано ниже и показано на рисунке 5:

• ЦП <- Retimer -> Дополнительная карта (AIC)
• CPU <- Retimer -> Riser Card -> AIC
• ЦП <- Retimer -> Кабель -> Коммутатор -> AIC
• ЦП <- Retimer -> Кабель -> AIC

Рисунок 5. Retimer на переходной плате к AIC Retimer на материнской плате к AIC

Редрайверы и ретаймеры помогают поддерживать целостность сигнала во многих системных приложениях центра обработки данных. В зависимости от сложности и скорости передачи данных конструкции оборудования, редрайверы могут быть полезны для небольших систем, которые работают с более низкими скоростями передачи данных.

Для скоростей передачи данных выше 16 Гбит / с у перенаправителей недостаточно возможностей для компенсации значительного ухудшения сигнала. PCIe 4.0 и 5.0 требуют использования ретаймеров для соответствия. Другие последовательные протоколы, такие как USB 4.0 и Thunderbolt 3.0, также определяют требования к восстановлению таймера в своих перспективных спецификациях.

Поскольку ретаймеры сбрасывают бюджет джиттера сигнала и регенерируют чистый сигнал для повторной передачи, вносимые потери отсутствуют, и разработчики могут реализовать все преимущества производительности своей вычислительной системы и приложений хранения NVMe ™ по разумной стоимости системы.

Ссылки

1. Учебник по повторителю высокоскоростной последовательной шины (PDF)
2. Серия образовательных веб-семинаров PCI-SIG® 2019 (PDF)
3. AN 766:Устройства Intel® Stratix® 10, Руководство по проектированию высокоскоростного сигнального интерфейса (PDF)
4. Базовая спецификация PCI Express, редакция 5.0, версия 1.0, 2019 г.

Отраслевые статьи - это форма содержания, которая позволяет отраслевым партнерам делиться полезными новостями, сообщениями и технологиями с читателями All About Circuits, что не подходит для редакционного содержания. Все отраслевые статьи подлежат строгим редакционным правилам с целью предлагать читателям полезные новости, технические знания или истории. Точки зрения и мнения, выраженные в отраслевых статьях, принадлежат партнеру, а не обязательно All About Circuits или ее авторам.