Esperanto представляет 1093-ядерный RISC-V AI-ускоритель для инференса в дата-центрах

Стартап Esperanto анонсировал ET-SoC-1 — 1093-ядерный AI-ускоритель на архитектуре RISC-V, предназначенный для сокетов M.2 в средах дата-центров. Представленный на конференции Hot Chips, чип обеспечивает 800 TOPS производительности в шести модулях на одной карте Glacier Point, оставаясь в оболочке потребления 120 Вт.

Ключевые особенности дизайна

ET-SoC-1 содержит 1088 ядер ET-Minion для выполнения AI-нагрузок, четыре высокопроизводительных ядра ET-Maxion и сервисный процессор RISC-V. Архитектура построена вокруг энергоэффективности: тактовая частота 1 ГГц, напряжение питания 0,4 В и 7-нм технологический процесс TSMC дают «точку сладости» 20 Вт на чип, с гибкостью работы в диапазоне 10–60 Вт.

Целевой сценарий: инференс рекомендательных систем

Гипермасштабные операторы требуют задержку инференса не более 10 мс для рекомендательных движков. Чип решает эту задачу за счет 100 МБ на-chip памяти и 100 ГБ off-chip емкости, размещенных на карте-ускорителе для избежания узких мест PCIe. Поддержка INT8, FP16 и FP32 сохраняет точность там, где это важно.

Архитектура ядра

Каждое 64-битное in-order ядро выполняет AI-оптимизированный векторный и тензорный блок, выдающий 128 GOPS на ГГц. Пользовательская многоциклическая тензорная инструкция может выполнять более 64 000 операций за такт, снижая трафик инструкций. Восемь ядер формируют «район» (neighbourhood), разделяющий L2-кэш и позволяющий кооперативную загрузку, а четыре района составляют «Minion Shire». Чип предлагает 1088 ядер (или 1024 для более высокого выхода) и четыре ядра ET-Maxion, сравнимые с Arm A-72.

Система памяти

Четыре 64-битных DDR-интерфейса (каждый из четырех 16-битных каналов) обеспечивают пропускную способность 96×16 бит. Используется LPDDR4x, обеспечивающая энергию на бит, сравнимую с HBM, тогда как стопка из шести чипов достигает 100 ГБ off-chip кэша.

Конкурентное позиционирование

В отличие от крупных, энергозатратных TPU или Inferentia, низкоэнергетический мультичиповый подход Esperanto использует экосистему Open Compute. Гипермасштабные операторы, ищущие стандартизированные, экономически эффективные ускорители, находят решение Esperanto привлекательным.

Перспективы

Будущие итерации могут нацелиться на edge-сценарии с уменьшенной версией ET-SoC-1. Текущая версия запланирована к запуску в ближайшие пару месяцев.

Источник: Esperanto и интервью EE Times с Дэйвом Дитцелом, соавтором работы по RISC 1980 года.