Decart запускает Oasis3:реалистичную модель мира с малой задержкой для обучения робототехнике

Исследовательская лаборатория Frontier AI Decart представила Oasis3 — модель мира, призванную устранить разрыв между синтетическим моделированием и реальным внедрением искусственного интеллекта.

Механизм вывода видео, представленный в этом месяце, ускоряет обучение систем управления роботами и автономными транспортными средствами, позволяя им успешно работать в непредсказуемых условиях реального мира.

Разработчики робототехники сталкиваются с нехваткой высококачественных данных, необходимых для обучения систем, способных ориентироваться в сложных реальных средах.

В то время как автомобиль может научиться маневрировать на статичной парковке с фиксированными дорожными конусами, открытая дорога представляет собой гораздо более сложную среду, где погода, освещение и динамические препятствия постоянно меняются.

Обучение систем справляться с хаосом городских улиц — проливным дождем, внезапными препятствиями, беспорядочным движением транспорта — представляет собой особую задачу, которую решает Oasis3.

Узкое место в обучении робототехнике

Большие языковые модели (LLM) вырвались вперед, но робототехника общего назначения (или физический искусственный интеллект) отстает, в основном из-за нехватки мультимедийных ресурсов.

Bessemer Ventures отметила, что разработчики LLM получают выгоду от очистки миллиардов общедоступных веб-страниц — роскоши, недоступной для моделей Vision‑Language‑Action (VLA), которые должны интерпретировать и действовать в физическом пространстве.

Модели VLA принимают данные об окружающей среде, обрабатывают их и затем реагируют. Их обучение предлагает три основных пути:

• Телеоперация — люди-операторы имитируют действия роботов в управляемом костюме. Несмотря на получение данных высочайшего качества, этот метод является непомерно дорогим и медленным, что делает крупномасштабное развертывание непрактичным.
• Видео в открытом доступе — легко доступен, но беспорядочен, ему не хватает согласованной среды, пространственной телеметрии и кондиционирования прямого действия.
• Синтетические данные — золотая середина, однако современные физические движки не учитывают нюансы реального мира, что приводит к так называемому разрыву между симом и реальным .

Этот разрыв проявляется, когда случайности в реальном мире — разливы нефти, хрупкая упаковка, неожиданный мусор — выводят автономные системы из равновесия, обнажая их ограничения.

Устранение разрыва с помощью генеративного моделирования с обратной связью

Декарт утверждает, что Oasis3 устраняет существующие ограничения виртуального обучения, объединяя фотореалистичную графику движения с надежным физическим движком.

Встроенная в единый высокопроизводительный цикл обучения, Oasis3 создает видеопотоки с условиями действия, которые могут генерировать практически любой хаотичный сценарий, который задумали разработчики, создавая среду обучения, которая точно отражает реальность.

Платформа поддерживает многовидовые, сверхреалистичные среды, которые полностью управляемы; Боковое отклонение беспилотного автомобиля запускает генеративный поток, который корректирует перспективу менее чем за 200 мс — что вполне соответствует требованиям обучения с подкреплением.

Разработанный совместно с экосистемой физического искусственного интеллекта Nvidia, Oasis3 работает на специализированной облачной инфраструктуре CoreWeave со скоростью 22 кадра в секунду, создавая интерактивные виртуальные среды с разрешением 512×768×3.

Он предлагает встроенное изображение с трех камер, позволяющее сохранять пространственную и временную согласованность под разными углами, что позволяет автономным системам точно измерять глубину и периферийный контекст.

Доступ к Oasis3 осуществляется через API Decart, что позволяет разработчикам легко интегрировать его в существующие конвейеры моделирования физического искусственного интеллекта.

Обучаем роботов покорению неизведанных территорий

Чтобы создать гуманоидов научно-фантастического уровня, необходимо научить роботов справляться с уникальными крайними случаями в реальном времени — ситуациями, которые невозможно воспроизвести в лаборатории, например, когда груз падает на дорогу, а камера автономного транспортного средства закрыта грязью.

Oasis3 позволяет разработчикам создавать бесконечное количество вариантов таких событий, используя простые подсказки на естественном языке, охватывающие разные углы, погодные условия и дорожное покрытие.

Подвергая модели миллионам опасностей по доступной цене, разработчики могут обеспечить готовность к любому правдоподобному сценарию реального мира.