Новый низкоточный ИИ чип IBM достигает 25,6 TFLOPS обучения и 102,4 TOPS инференса

На ISSCC 2024 IBM Research представила 7-нм прототип, воплощающий годы работы над низкоточным ИИ обучением и инференсом. Чип доставляет 16-бит и 8-бит обучение, а также 4-бит и 2-бит инференс — далеко ниже отраслевой нормы 32-бит обучение / 8-бит инференс.

Снижение численной точности режет вычислительные и энергетические требования, но IBM также внедрила несколько архитектурных оптимизаций, что дополнительно бустит эффективность. Ключевой вызов — снизить точность без вреда точности — проблему, которую IBM решала с алгоритмического уровня годами.

IBM AI Hardware Center, запущенный в 2019, целится на буст ИИ вычислительной производительности на 2,5× ежегодно, таргетя 1000× улучшение FLOPS/Ватт к 2029. Такие амбициозные цели драйвятся взрывным ростом ИИ моделей — особенно триллионно-параметрических NLP систем — и растущим углеродным следом их обучения.

На прототипе 4-ядерный чип достигает 25,6 TFLOPS для 8-бит обучения, в то время как доставляя 102,4 TOPS для 4-бит integer инференса (оба измерены на 1,6 ГГц и 0,75 В). Снижение частоты до 1 ГГц и напряжения до 0,55 В улучшает энергоэффективность до 3,5 TFLOPS/Вт (FP8) или 16,5 TOPS/Вт (INT4).

Производительность тестового чипа IBM Research (Изображение: IBM Research) **Сообщенная производительность при 0% разреженности. (1) FP8. (4) INT4.

Низкоточное обучение

Эта производительность строится на годах алгоритмической работы над низкоточными обучением и инференс техниками. Чип — первый поддерживающий гибридный FP8 формат IBM, представленный на NeurIPS 2019, который позволяет 8-бит обучение, удвоенное вычисление 16-бит обучения без компромисса результатов.

IBM Research работала над решением проблемы сохранения точности при снижении точности (Изображение: IBM)

«Низкоточное обучение вызов, но 8-бит обучение достижимо с правильными числовыми форматами», — сказал Кайлаш Гопалакришнан, IBM Fellow и старший менеджер по архитектурам ускорителей и машинному обучению. «Правильные числовые форматы, примененные к правильным тензорам, критичны».

Гибридный FP8 комбинирует два формата: один для весов и активаций в прямом проходе, и другой для градиентов в обратном проходе. Обучение требует оба прохода, в то время как инференс использует только прямой формат.

«Мы нашли, что прямые тензоры нуждаются в более высокой верности — больше точности в мантиссе — в то время как градиенты требуют более широкий динамический диапазон с большим экспонентом. Этот трейдофф привел к 1-4-3 (знак-экспонента-мантисса) разделению для прямого и 5-бит экспоненте для обратного, давая динамический диапазон 2³². Наше железо теперь поддерживает оба варианта».

Иерархическое накопление

Техника IBM «иерархического накопления» снижает точность во время накопления вместе с весами и активациями. Традиционное FP16 обучение накапливает в 32-бит арифметике для сохранения точности, но 8-бит схема накапливает в FP16. Группируя длинные накопления в меньшие куски и суммируя их, чип минимизирует ошибки округления без жертвы выгодам более низкой точности.

«Сложение тысяч чисел последовательно может деградировать точность», — объяснил Гопалакришнан. «Чанкинг накопления держит сумму точной в то время как держит железо легким».

Низкоточный инференс

В то время как большинство инференс движков используют INT8, IBM продемонстрировала, что 4-бит integer арифметика может соответствовать state-of-the-art точности. После квантизации, quantization-aware обучающий шаг снижает потерю точности до менее 0,5%, что приемлемо для многих применений.

On-Chip Ring

Чип включает network-on-chip, оптимизированный для глубокого обучения, позволяющий ядрам мультикаст данные эффективно. Это снижает off-chip память трафик и требования полосы пропускания.

«Мы деカップлировали рабочую частоту кольца от частот ядер, позволяя независимую оптимизацию и более высокие скорости ядер без долгопроводной задержки кольца», — сказал Анкур Агравал, исследовательский сотрудник в машинном обучении и архитектурах ускорителей.

Управление мощностью

IBM внедрила схему частотного масштабирования, держащую чип рядом с его мощностной оберткой через нагрузку. Устанавливая начальное напряжение и частоту агрессивно, чип поддерживает высокую производительность во время compute-heavy фаз и адаптируется к низкому спросу без затратных изменений напряжения.

«Глубокое обучение нагрузки имеют отличные пики и впадины мощности», — отметил Агравал. «Наша стратегия держит потребление мощности стабильным, превращая впадины в производительные выигрыши».

Тестовый чип

4-ядерный дизайн балансирует сложность связности с размером ядра, предлагая масштабируемую архитектуру. IBM предвидит 1-2 ядерные чипы для edge устройств и 32-64 ядерные чипы для дата-центровых развертываний, все способные на FP16, гибридный FP8, INT4 и INT2.

«Разные прикладные домены требуют разные точность и энергию трейдоффы», — сказал Гопалакришнан. «Наш швейцарский армейский нож форматов позволяет нам таргетить каждый случай использования без компромисса эффективности».

Дополняя железо, IBM Research выпустила компиляторный стек «Deep Tools», достигающий 60-90% утилизации на чипе.

По предварительному интервью, низкоточные ИИ чипы на базе этой архитектуры должны достичь рынка в течение двух лет.

>> Эта статья была первоначально опубликована на нашем партнерском сайте EE Times.

---

Связанные материалы:

• ИИ чипы сохраняют точность с редукцией модели
• Обучение ИИ моделей на крае
• Гонка на для ИИ на крае
• Edge AI вызовы технологии памяти
• Инженерная группа стремится протолкнуть 1мВт ИИ к краю
• Нейросетевые применения для малых задач
• ИИ IC исследования исследуют альтернативные архитектуры

Для большего Embedded, подпишитесь на еженедельную email рассылку Embedded.