Neoclouds объяснены: почему ИИ нуждается в GPU-фокусированном облачном вычислении

ИИ-нагрузки становятся мейнстримом через практически каждую отрасль. Но по мере роста спроса на ИИ, растет и нагрузка на инфраструктуру. К сожалению, традиционные варианты доступа к высокопроизводительным вычислениям не достаточны, заставляя бизнесы искать альтернативы. Некоторые поворачиваются к неоклаудам — новому типу провайдера вычислительных сервисов, центрированного на GPU-центрических предложениях.

Эти новые провайдеры получают интерес из-за сдвига в вычислениях; характеризующегося растущей зависимостью от GPU для ИИ. В то время как GPU отлично подходят для обработки параллельных потребностей ИИ-обучения и инференса, они неориентированно дороги и в дефиците. Высококлассный GPU может стоить десятки тысяч долларов, и это только если компания может найти его. Циклы закупки длительные, лид-таймы непредсказуемы, и корпоративные ИТ-команды часто борются приобрести достаточную емкость для встречи спроса.

Гиперскейлерные облачные провайдеры, такие как AWS, Google Cloud и Azure, искали заполнить пробел предложением GPU инстансов и GPU as a service. Для многих организаций эта модель работает, но только до точки.

Облачные GPU инстансы предлагают гибкость, масштабируемость и быстрое развертывание. Но по мере роста использования растет и счет. Pay-as-you-go модель быстро становится стоимо-запретительной в масштабе, особенно для устойчивых нагрузок вроде обучения больших языковых моделей (LLM), fine-tuning или реального времени инференса через корпоративные приложения.

В результате многие организации находят себя между молотом (дефицитным и дорогим он-премис инфраструктурой) и наковальней (высокими публичными облачными GPU затратами).

Вход Neoclouds

В этой среде появляется новая категория вычислительного провайдера: неоклауд провайдер. Неоклауд инфраструктурные провайдеры предлагают высокопроизводительные вычисления, сильно центрированные на GPU, по более доступным ставкам (по крайней мере, по их словам). Они достигают этого, используя неконвенциональные происхождения, новые экономические модели и разные инфраструктурные стратегии.

Например, некоторые неоклауды прослеживают свои корни обратно к криптовалютному майнингу. Во время криптовалютного бума последнего десятилетия тысячи майнеров по всему миру построили дата-центры, оборудованные GPU-серверами, оптимизированными для майнинг-операций. Как криптовалютный рынок остыл и майнинг стал менее прибыльным, эти операторы нашли себя с большими объемами простаивающей GPU емкости. Вместо того чтобы позволять этому железу амортизироваться на складе, некоторые перепрофилировали свое оборудование для ИИ-нагрузок, и так родился неоклауд.

Другие в пространстве — целенаправленные стартапы, которые видели возможность предложить более стоимостно-эффективную альтернативу гиперскейлерам, оптимизируя для price-performance и обходя накладные расходы legacy облачных операций. Некоторые строят на open-source софтовых стеках и колокация в низкозатратных дата-центрах; другие агрегируют избыточную GPU емкость через децентрализованные сети, формируя своего рода «GPU spot market», в который предприятия могут втыкаться по более низким затратам.

Выгоды модели Neoclouds

Для бизнесов, ищущих ИИ вычислительную мощь без экзорбитантных затрат, неоклауд провайдеры заявляют, что могут доставлять несколько выгод, включая:

Ниже стоимость за GPU час: Неоклауды часто взимают долю того, что гиперскейлеры за сравнимые GPU инстансы. Они заявляют, что их lean операционные модели и стратегии реюза железа переводятся в реальные экономии.

Выделенный доступ: Во многих случаях неоклауд провайдеры предлагают выделенный bare metal доступ к GPU, снижая конкуренцию и обеспечивая предсказуемую производительность.

Быстрая доступность: С гибкими закупками и провижининг процессами, неоклауд провайдеры заявляют, что часто могут доставлять емкость намного быстрее традиционных вендоров, помогая командам итерировать и развертывать ИИ-модели без задержки.

Децентрализация и устойчивость: Некоторые неоклауды оперируют на распределенных моделях, источа вычисления из географически разнообразных дата-центров или сетей независимых операторов.

Устойчивость: Перепрофилирование существующего железа, особенно из криптовалютной отрасли, снижает e-waste и продвигает более устойчивые ИТ-практики. Некоторые неоклауды также колокация в объектах, питаемых возобновляемой энергией, дополнительно снижая углеродный след.

См. также: Сдвиг GPU рынка: использование падения крипто-майнинга

GPUs-as-a-Service, переосмысленный

В своем ядре, неоклауды представляют свежий взгляд на GPU-as-a-Service модель. Компании, считающиеся неоклауд провайдерами, включают CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai и другие.

Они менее фокусированы на бандлинге GPU с проприетарными сервисами и более заинтересованы в доставке сырой, высокопроизводительной вычислительной мощи по ценовой точке, делающей крупномасштабный ИИ жизнеспособным для большего числа бизнесов.

Демократизируя доступ к доступным GPU, неоклауд провайдеры верят, что могут снизить барьер входа для компаний, стремящихся построить или масштабировать ИИ-приложения. Малые стартапы могут обучать кастомные модели без сжигания своего seed финансирования. Энтерпрайзы могут fine-tune LLM на своих проприетарных данных без уступки контроля или перерасхода. И исследовательские институты могут запускать симуляции и эксперименты без ограничений бюджетными констрейнтами.

Несмотря на эти преимущества, неоклауд провайдеры, вероятно, будут конкурировать в ближайшем будущем с гиперскейлерами на GPU-as-a-Service маркетплейсе. Тот рынок был оценен в $3.23 млрд в 2023 и спроецирован к росту до $49.84 млрд к 2032, представляя 36% темп роста, согласно Fortune Business Insights. (Та оценка включает оба гиперскейлеров и неоклауды.)

Финальные мысли

Вычислительные требования для ИИ продолжают расти. Неоклауд провайдеры — новое поколение ИИ-фокусированных облачных инфраструктурных провайдеров, целящихся встретить эти потребности. Они дифференцируют себя от традиционных гиперскейлеров (таких как AWS, Azure и GCP) фокусируясь на оптимизированной GPU доступности, гибком ценообразовании и специализированной производительности для ИИ/ML нагрузок, среди других ключевых фич.