Пионер ИИ предупреждает: фокус современного ИИ железа ошибочен

Ян ЛеКун, главный ученый по ИИ Facebook, предупредил в своем ключевом выступлении на NeurIPS, что фокус на экзотическом железе — ошибка. Он просмотрел эволюцию специализированных чипов для нейросетей, поделился текущей работой Facebook и предложил предсказания для глубокого обучения железа.

Древняя история

ЛеКун, пионер ИИ с 1980-х, был среди первых, разработавших выделенные процессоры нейросетей в Bell Labs. Те ранние устройства, построенные из резистивных массивов для матричного умножения, стали фундаментом для последующих достижений.

Когда нейросети вышли из моды в конце 1990-х и начале 2000-х, ЛеКун был одним из немногих ученых, сохранивших поле живым. В своем ключевом выступлении он размышлял об уроке железа, извлеченном в ту эру.

Главный ученый ИИ Facebook Ян ЛеКун

Во-первых, инструменты критичны. В 1990-х только горстка исследователей — ЛеКун включительно — имели ПО, способное обучать нейросети. Команда потратила годы на строительство того, что теперь называлось бы deep-learning фреймворком, гибким слоем, переводящим высокоуровневый код в эффективные рутины обучения. Этот прорыв лег в основу современных фреймворков таких как TensorFlow и PyTorch, где модели собираются из дифференцируемых модулей, которые могут быть автодифференцированы.

Правильные инструменты дали команде ЛеКуна «суперсилу» и обеспечили воспроизводимое исследование. Он подчеркнул, что надежные результаты должны быть воспроизводимы; иначе сообщество остается скептичным.

Железная производительность равно важна. ЛеКун отметил, что возможности исследовательского железа формируют исследовательскую повестку. "Идеи, которые бросаются, часто делают это потому, что доступное железо недостаточно", — сказал он. "Несоответствие между исследовательскими амбициями и реальностью железа может сбить перспективные направления".

ЛеКун предостерег от погони за экзотическими методами фабрикации, которые не интегрируются с существующей вычислительной экосистемой.

Он также подсветил ключевое несоответствие в сегодняшних ускорителях: большинство оптимизированы для матричного умножения, а не свертки, основной операции современных образных и речевых сетей. "Преобладающий подход станет все более невыровненным по мере роста требований к энергии", — предупредил он. "Если 95% циклов тратятся на свертки, железо фундаментально суб-оптимально".

Killer app

Глядя вперед, ЛеКун видит сверточные нейросети проникающими в повседневные устройства — от игрушек до пылесосов до медицинского оборудования. Единственное «killer app», которое раскроет ценность ИИ в потребительских устройствах, однако — AR очки.

Facebook активно разрабатывает железо для AR очков. Вызов лежит в доставке низколатентных, батарейных вычислений. "Когда пользователь движется, виртуальные объекты должны оставаться привязанными к миру, а не к гарнитуре", — объяснил ЛеКун, подчеркивая потребность в реальном времени трекинге.

Facebook видит AR очки, реагирующие на голосовые команды и жестовое отслеживание рук. Пока эти возможности существуют сегодня, они недстаточны в терминах энергии, производительности и форм-фактора. ЛеКун очертил несколько практических трюков для заполнения разрыва.

Например, когда та же нейросеть обрабатывает каждый кадр видео — такой как детекция объектов — неточности на кадре могут быть терпимы, потому что временная согласованность через кадры может быть принуждена. Это позволяет использование ультра-низкопотребляющего, несовершенного железа, которое может испытывать случайные бит-флипы, достижимых снижением напряжения питания.

Развитие нейросетей

Быстрая эволюция архитектур нейросетей ставит вызов дизайну железа. Динамические сети, обучающие последовательные паттерны, как многие NLP модели, требуют runtime граф оптимизацию и борются с батчингом. ЛеКун отметил, что большинство существующего железа предполагает размер батча >1, что заставляет исследователей обрабатывать большие батчи, чем оптимальная настройка модели.

Он призвал железное сообщество создать архитектуры, хорошо работающие с размером батча 1, как для вывода, так и для обучения, где идеальный размер батча часто один.

Self-supervised обучение

ЛеКун предупредил, что парадигмы обучения сдвинутся драматически. Люди и животные учатся через наблюдение — процесс, который он называет self-supervised обучением — а не через явные метки или сигналы подкрепления. Этот подход, теперь стандартный в трансформер-базированных NLP, обучает модель предсказывать замаскированные части входных данных.

Пока self-supervised обучение высокоэффективно, оно повышает требования к памяти. Сегодня крупнейшие трансформер модели содержат до пяти миллиардов параметров и не помещаются в один GPU, необходима модельная партиция.

"Self-supervised обучение — будущее", — утверждал ЛеКун. "Оно требует массивной памяти и вычислительных ресурсов, и железная гонка усилится, пока мы обучаем все более крупные модели на обильных неразмеченных данных".

Железные тренды

ЛеКун держит палец на пульсе الناشющих железных концепций таких как аналоговые вычисления, спинтроника и оптические системы. Он указал, что коммуникационные узкие места — конвертация сигналов между новым железом и мейнстрим системами —major препятствие. Аналоговые дизайны полагаются на разреженные активации для снижения потребления энергии, но возможность поддержания разреженности остается неопределенной.

Он остается скептичным к футуристическим подходам вроде spiking нейросетей и нейроморфических чипов. "До постройки чипов алгоритмы должны доказать себя", — сказал он. "Движение дизайна железа впереди алгоритмической зрелости рискованно".

Временная шкала обработки нейросетей

Конец 1980-х: Резистивные массивы используются для матричного умножения. К концу 1980-х массивы получили усилители и конвертеры вокруг них, но все еще довольно примитивны по современным стандартам. Ограничение — как быстро данные могут быть загружены в чип.
1991: Первый чип, спроектированный для сверточных нейросетей (CNN), построен. Чип способен на 320 гига-операций в секунду (GOPS) на бинарных данных, с цифровыми сдвиговыми регистрами, минимизирующими внешний трафик для выполнения свертки, тем самым ускоряя операцию. Чип не видел использования за пределами академии.
1992: ANNA, аналоговый нейросетевой ALU чип, дебютирует. Спроектирован для CNN с 6-бит весами и 3-бит активациями, ANNA содержит 180 000 транзисторов в 0,9-мкм CMOS. Используется для оптического распознавания символов рукописного текста.
1996: DIANA, цифровая версия ANNA, выпускается. Но с выходом нейросетей из моды к середине 1990-х, DIANA в конечном счете перепрофилируется для обработки сигналов в базовых станциях сотовой связи.
2009–2010: Исследователи демонстрируют аппаратный нейросетевой ускоритель на FPGA (Xilinx Virtex 6). Он запускает демо семантической сегментации для автопилотирования и способен на 150 GOPS при ~0,5 Вт. Команда из Purdue University пытается сделать ASIC на основе этой работы, но проект оказывается неудачным. (Источник: Yann Le Cun/Facebook)