Kubernetes усиливает AI-стартапы масштабируемыми контейнеризированными решениями

Кармине Рими, менеджер AI-продуктов в Canonical (команда за Ubuntu), делится инсайтами на пересечении AI и Kubernetes.

Исследование Стэнфордского университета сообщает о 14-кратном росте AI-стартапов с 2000 года, в то время как UK-based AI-разработчики пережили 200% скачок венчурного финансирования только в прошлом году. Эти цифры подчеркивают растущий спрос на надежную, масштабируемую AI-инфраструктуру.

Создание AI-приложений по сути сложно. Разработчики должны жонглировать извлечением признаков, верификацией сбора данных, статистическим анализом и оркестрацией ресурсов еще до написания первой строки ML-кода. Непрерывное обслуживание требуется для актуальности и безопасности моделей.

Контейнеризируйте себя

В ответ индустрия обратилась к Kubernetes — бесплатной открытой платформе, автоматизирующей развертывание и управление контейнеризированными рабочими нагрузками, включая AI и ML-пайплайны. Абстрагируя детали инфраструктуры, Kubernetes позволяет командам фокусироваться на разработке моделей, а не на операционных накладных расходах.

Forrester недавно заявил: «Kubernetes выиграл войну за доминирование в оркестрации контейнеров и должен быть в центре ваших планов по микросервисам». Контейнеры предоставляют легковесные, переносимые среды, легко масштабируемые через on-premise или облачные ресурсы, позволяя монолитным AI-сервисам разбиваться на модульные, поддерживаемые микросервисы.

Опрос Cloud Native Computing Foundation показывает, что большинство разработчиков уже используют Kubernetes на нескольких этапах жизненного цикла AI — от обучения до инференса. Kubernetes отлично масштабирует вычислительно-интенсивные модели глубокого обучения и управляет большими наборами данных на коммодити-серверах.

Помимо обучения, Kubernetes поддерживает распределенный инференс на пограничных устройствах и центральных дата-центрах, упрощая сценарии развертывания, которые иначе требовали бы бесконтейнерных решений.

Смена фокуса

По мере того как бизнес внедряет AI для снижения затрат, улучшения принятия решений и доставки персонализированного опыта, Kubernetes-базированные контейнеры стали предпочтительной платформой. В декабре 2020 года проект Kubernetes представил Kubeflow, фреймворк, упрощающий ML-воркфлоу на Kubernetes.

Изначально спроектированный для stateless-сервисов, Kubernetes теперь поддерживает сложные stateful AI-нагрузки благодаря богатым API, надежности и производительности. В 2017 году только Google Kubernetes Engine (GKE) поддерживал платформу; сегодня каждый крупный облачный провайдер — Microsoft Azure AKS, Amazon EKS и другие — предлагает управляемые Kubernetes-сервисы.

Быстрое принятие Kubernetes предприятиями и облачными провайдерами демонстрирует его эффективность в доставке повторяемости, отказоустойчивости и масштабируемости для AI-приложений. Kubernetes стал де-факто стандартом управления контейнеризированными AI-нагрузками, и его преимущества будут расти по мере роста AI-принятия.

Автор: Кармине Рими, менеджер AI-продуктов Canonical.