Память для Edge AI: вызовы и возможности технологий памяти

Edge AI переформулирует то, как мы думаем о памяти. По мере миграции ИИ-нагрузок из облака на устройства ближе к пользователю, системы памяти должны обеспечивать большую емкость, высокую полосу пропускания, низкую задержку и энергоэффективность, оставаясь стоимоэффективными и надежными.

Не существует единой спецификации «edge AI». Термин широко охватывает любые ИИ-включенные электронные устройства вне центрального облака — от предприятийских дата-центров до автономных автомобилей, инфраструктуры умных городов и IoT-конечных точек.

Типичные edge-сценарии включают компьютерное зрение для беспилотных авто, ИИ-инференс в производственных воротах для обнаружения дефектов, 5G edge-боксы на столбах для мониторинга трафика и мобильные телефоны, применяющие Snapchat-фильтры или голосовых ассистентов.

Роль памяти едина во всех этих применениях: хранение весов нейросетей, кода модели, входных данных и промежуточных активаций. Вызов заключается в балансе емкости, полосы пропускания, мощности и стоимости при соблюдении уникальных ограничений каждого развертывания.

Граничные дата-центры

Граничные дата-центры обслуживают критичные к задержке домены: медицинская визуализация, высокочастотные финансы, управление автономными автомобилями. Эти сайты используют те же семейства памяти, что и традиционные серверы — высокопроизводительный DRAM, большие RDIMM и энергонезависимые варианты вроде NVDIMM.

«Низколатентный DRAM необходим для обучения и разработки ИИ-моделей», — отмечает Пекон Гупта, архитектор решений в Smart Modular Technologies. «Большие наборы данных требуют высокоемкие RDIMM или LRDIMM, в то время как NVDIMM ускоряют нагрузки с интенсивной записью, такие как кэширование и чекпоинтинг».

Пекон Гупта

Телекоммуникационные операторы следуют похожему пути, добавляя память и вычисления к edge-серверам. Гупта подчеркивает Intel Optane — 3D XPoint энергонезависимую память, мостящую DRAM и Flash — как убедительный выбор для ИИ-нагрузок, выигрывающих от персистентной высокоемкой памяти.

«Optane DIMM и NVDIMM служат разным целям: Optane превосходит в in-memory базах данных и больших персистентных ИИ-наборах данных, в то время как NVDIMM обеспечивают низколатентное тирирование и кэширование», — объясняет Гупта.

Кристи Манн от Intel сообщает, что Optane уже питает рекомендательные движки e-commerce, видео-персонализацию и реально-временную финансовую аналитику. Сервер с двумя процессорами Intel Xeon Scalable и персистентной памятью Optane может разместить до 6 ТБ используемой памяти, предлагая стоимоэффективную альтернативу полностью DRAM конфигурациям.

Кристи Манн от Intel

Модуль Intel Optane 200 Series. Intel говорит, что Optane уже используется для питания ИИ-приложений сегодня. (Источник: Intel)

GPU ускорение

Для высокопроизводительных граничных дата-центров GPU движут ИИ-вычисления. Выборы памяти здесь включают GDDR, спроектированный для высокополосных GPU, и HBM (high-bandwidth memory), die-stacked решение, размещающее несколько памяти дай прямо на GPU пакете.

HBM2E доставляет до 3,6 Гбит/с на линию, переводясь в 460 ГБ/с полосы пропускания на стек — два стека могут приблизиться к 1 ТБ/с. Эта производительность, сочетанная с низким потреблением, делает HBM памятью выбора для дата-центровых GPU Nvidia.

GDDR6, с другой стороны, предлагает 18 Гбит/с на линию и 72 ГБ/с полосы пропускания. Четыре чипа GDDR6 дают почти 300 ГБ/с — сладкое место для edge инференс нагрузок. Фрэнк Ферро, старший директор маркетинга продуктов для IP Cores в Rambus, отмечает, что LPDDR, в то время как стоимоэффективный для конечной точки инференса, не может соответствовать требованиям полосы пропускания современных ИИ-моделей, толкая дизайнеров к GDDR6.

Фрэнк Ферро из Rambus

Другие ускорители — такие как Achronix Speedster7t FPGA — также используют GDDR полосу пропускания, доказывая, что и HBM, и GDDR имеют роли в edge AI.

Дальний край

На самом дальнем крае — мобильные телефоны, носимые и сенсорные узлы — ИИ преимущественно инференс. Устройства вроде голосовых чипов Syntiant и камерных ускорителей Gyrfalcon используют аналоговые вычислительные техники, встраивая матричное умножение прямо в ячейки памяти.

Флагманский IP Mythic использует флеш-транзисторы памяти как переменные резисторы для выполнения 8-битных multiply-accumulate операций, достигая замечательной плотности и энергоэффективности. Их калибровка шумоподавления обеспечивает надежный 8-битный инференс несмотря на аналоговую вариабельность.

Mythic использует массив флеш-транзисторов памяти для создания плотных multiply-accumulate движков (Источник: Mythic)

ASIC, адаптированные для ультра-низкоэнергопотребляющего инференса, комбинируют распределенный SRAM, bulk SRAM и off-chip DRAM. Джефф Тейт от Flex Logix объясняет, что InferX X1 достигает 7,5 TOPS на 933 МГц с одним x32 LPDDR4 DRAM и 10 МБ SRAM, балансируя скорость, площадь и стоимость.

По мере эволюции экономики памяти, LPDDR, вероятно, останется доминирующим выбором для edge инференса благодаря своей полосе пропускания, простоте и минимальному кремниевому футу.

Новейшие памяти

Позади установленных технологий, несколько энергонезависимых памяти предлагают новые возможности для ИИ.

MRAM (магниторезистивная RAM) хранит биты, используя ориентацию магнита, позволяя низковольтную операцию с контролируемым стохастическим поведением. Эта случайность может быть эксплуатирована для бинаризованных нейросетей (BNN), которые терпят высокие битовые ошибки, сохраняя точность. Энди Уокер из Spin Memory отмечает, что MRAM может драматически снизить потребление энергии, сохраняя производительность для edge AI задач, не требующих экстремальной точности.

Энди Уокер из Spin Memory

Неволатильность MRAM также открывает дверь к единым архитектурам памяти, заменяющим и встроенный Flash, и SRAM, сокращая площадь кристалла и статическое потребление.

Нейроморфная ReRAM

Резистивная RAM (ReRAM) вводит синаптическую пластичность, позволяя нейроморфным системам учиться in situ. Коллаборация Политехнико Милано с Weebit Nano продемонстрировала потенциал ReRAM для обучения без учителя, позволяя edge устройствам адаптироваться к меняющимся средам без переобучения с нуля.

В заключение, технология памяти быстро эволюционирует для встречи требований edge AI. Установленные памяти — GDDR, HBM, Optane — продолжают доминировать в дата-центровом edge, в то время как LPDDR и on-chip SRAM держат власть на дальнем крае. Новейшие энергонезависимые памяти вроде MRAM и ReRAM готовы обеспечить беспрецедентную энергоэффективность и адаптивные возможности, формируя следующее поколение ИИ-включенных устройств.

— Эта статья была первоначально опубликована на нашем партнерском сайте EE Times.