Гибридный чип Quadric с архитектурой Data-Flow и Von Neumann ускоряет AI и визуальные нагрузки

Новая гибридная архитектура data-flow и Von Neumann может ускорять нагрузки, включая нейронные сети, машинное обучение, компьютерное зрение, DSP и базовые линейные алгебраические подпрограммы.

Quadric, стартап из Кремниевой долины, спроектировал ускоритель, усиливающий как AI-инференс, так и традиционные алгоритмы компьютерного зрения на пограничных устройствах: роботах, фабричной автоматизации и медицинской визуализации. Уникальный гибридный дизайн железа объединяет принципы data-flow и Von Neumann, обеспечивая эффективное выполнение нейронных сетей, машинного обучения, DSP и линейно-алгебраических рутин.

«С самого начала мы поняли, что пограничные устройства требуют больше, чем только AI», — сказал CEO Вирбхан Кхетерпал EE Times. «Разработчикам нужна единственная система, способная запускать классические высокопроизводительные вычислительные алгоритмы рядом с AI.»

Кхетерпал подчеркнул, что архитектура — не набор дискретных ускорителей, а единый набор инструкций data-параллелизма, способный ускорять разнообразные нагрузки, включая AI-инференс.

«Недавняя работа показывает, что замена целых слоев быстрыми преобразованиями Фурье (FFT) может драматически ускорить трансформеры», — сказал главный продуктовый офицер Даниэль Фиру. Quadric готова ускорять такие нагрузки, цитируя Google-статью, где подслой self-attention трансформерного энкодера был заменен на FFT, достигая 92% точности на BERT бенчмарке и обучаясь до семи раз быстрее на GPU или в два раза быстрее на TPU.

Комплект разработчика Quadric, M.2 карта с процессором Q16 и 4 ГБ внешней памяти (Источник: Quadric)

Роботы для виноградников

Основатели — Вирбхан Кхетерпал, Даниэль Фиру и Найджел Дрего — ранее основали 21, биткоин-майнинг компанию, приобретенную Coinbase. Ранний фокус Quadric был на сельскохозяйственных роботах, обходящих виноградники Напа-Вэлли, обнаруживающих утечки ирригации и вредителей. Однако высокая стоимость дрон-базированных решений толкнула команду к изучению кастомного ускорителя.

Вирбхан Кхетерпал (Источник: Quadric)

«Мы поняли, что дрон-базированная система стоила бы $5–10k, но трактор-базированная платформа превысила бы $50k с большими GPU и множественными камерами. Этот инсайт привел нас к проектированию ускорительного чипа, который нам был нужен», — объяснил Кхетерпал.

После сид-раунда 2017 года и $13М серии A под руководством автомобильного Tier-One Denso, Quadric собрала $18М к сегодняшнему дню.

Turing-полный дизайн

Инструкция-драйвенная архитектура Quadric сочетает концепции data-flow и Von Neumann для замены гетерогенных пограничных систем единственным гибким решением. Turing-полные ядра Vortex доставляют ускорение сохраняя программируемость. Масштабируемые массивы и совместимость с 7- или 5-нм процессами делают дизайн подходящим для пограничных устройств с энергобюджетами от сотен милливатт до 20 Вт.

Чип Q16 хостит 16 × 16 массив ядер Vortex. Каждое ядро может выполнять матричное умножение и AI-операции, и включает многофункциональный ALU для логики, редукции, сдвига и более. ПО раскрывает широкий алгоритмический спектр — от функций активации LSTM до кастомного управления потоком — используя if-then-else операторы по массиву для эксплуатации мелкозернистой разреженности.

Каждое ядро наслаждается однтактным доступом к соседям и 4 Кб in-core памяти, в то время как on-chip память обеспечивает низколатентный, детерминированный доступ к данным.

Ядра выполняются в режиме «single instruction, multiple decode»: та же инструкция транслируется каждый цикл, но динамические рантайм-данные позволяют отдельным ядрам интерпретировать её по-разному, обеспечивая гетерогенную функцию в однородном массиве.

Выделенная шина широковещания эффективно стримит константы — такие как веса нейронных сетей — во все ядра одновременно. Статические, ПО-контролируемые единицы загрузки-хранения позволяют детерминированные рантаймы ядер, с одновременными dual-edge загрузками и triple-edge хранениями сокращающими время выполнения.

Даниэль Фиру (Источник: Quadric)

«Загрузка с одной стороны и хранение с другой позволяет нам выполнять перемаппинг данных и вращения изображений на уровне железа», — сказал Фиру.

On-chip статические памяти, не кэши, предоставляют достаточное пространство для больших структур данных. 8 ГБ памяти Q16 могут удерживать множественные HD фрейм-буферы или целый набор весов нейронной сети.

Программный стек

Quadric построил свой программный стек до кремния, позволяя разработчикам прототипировать на симуляторе или FPGA. Стек абстрагирует архитектуру через LLVM-базированный компилятор и C++ API. Source Mode поддерживает data-параллельные алгоритмы с C++ контролем над архитектурными фичами и может выражать кастомные операции по мере усложнения AI-моделей.

Программный стек Quadric (Источник: Quadric)

Предстоящий Graph Mode предоставит no-code интерфейс для TensorFlow или ONNX моделей, поддержанный TVM-базированным DNN компилятором, автогенерирующим код.

«Большинство платформ ограничивают вас их собственным AI компилятором, но мы предлагаем полные Turing-полные ядра, способные выполнять любую операцию», — объяснил Кхетерпал. «Эта гибкость позволяет разработчикам развертывать кастомные алгоритмы или неподдерживаемые операторы без ограничений.»

Дорожная карта чипа

Q16 доставляет 256 ядер Vortex в 16 × 16 массиве, изготовленном в 16 нм кремнии, достигая 4 INT8 DNN TOPS. Он запускает ResNet-50 на 200 инференсов в секунду на 224 × 224 изображениях, потребляя в среднем 2 Вт.

Дорожная карта Quadric включает второе поколение архитектуры и чип Q32 — массив из 1000 ядер — нацеленный на 7 нм производство. Q32 может также интегрировать ARM или RISC-V ядра для службы хост-процессора.

M.2 комплект разработчика с процессором Q16 и 4 ГБ внешней памяти доступен сегодня.

>> Эта статья была изначально опубликована на нашем сестринском сайте, EE Times.

---

Связанные материалы:

• Аппаратные ускорители служат AI приложениям
• Когда DSP побеждает аппаратный ускоритель
• Руководство по ускорению приложений с just-right RISC-V кастомными инструкциями
• Инференс чип производительность строится на оптимизированной памяти подсистеме
• Новые модули AI ускорения улучшают пограничную производительность
• Пограничный AI вызывает вызовы памяти технологии

Для большего Embedded, подпишитесь на еженедельную email-рассылку Embedded.