NVIDIA представила Alpamayo 2 Super, свою самую мощную на сегодняшний день открытую модель искусственного интеллекта, разработанную для ускорения развития автономных транспортных средств уровня 4, таких как роботакси. Объявление, сделанное на NVIDIA GTC Taipei, подчеркивает значительное расширение технологической платформы компании в области автономных транспортных средств, вводя новые инструменты для моделирования, обучения и генерации данных, направленные на упрощение создания и тестирования систем автономного вождения.
Alpamayo 2 Super — это модель зрения-языка-действий (VLA) с 32 миллиардами параметров, которая объединяет восприятие, рассуждение и принятие решений в единой структуре. Она способна анализировать сложные дорожные ситуации, планировать действия и работать во всей стеке автономного вождения. Предоставляя следы рассуждений, модель направлена на повышение прозрачности и позволяет инженерам лучше понимать, как принимаются решения при вождении.
По словам основателя и генерального директора NVIDIA Дженсена Хуана: «Alpamayo — это момент, когда автомобили начинают безопасно мыслить, а не просто ездить. Только NVIDIA делает открытыми модели, симуляции, данные из реального мира и навыки агентов, чтобы глобальная экосистема роботакси могла развить возможности уровня 4, которые понимают краевые случаи, объясняют решения, завоёвывают доверие и безопасно масштабируются до миллионов транспортных средств».
Новая модель представляет собой значительное увеличение масштаба по сравнению с предыдущими версиями, которые содержали около 10 миллиардов параметров. Это расширение позволяет улучшить понимание трехмерных сред, более точно прогнозировать траектории и лучше реагировать на редкие или необычные дорожные ситуации. Alpamayo 2 Super также включает полное окружение восприятия, обрабатывая данные от передних, боковых и задних датчиков, и вводит «Meta-Actions» для прогнозирования более высокого уровня решений вождения, таких как уступка дороги, смена полосы или остановка перед выполнением управления транспортным средством.
NVIDIA подтвердила, что Alpamayo 2 Super будет выпущена в качестве открытой модели, с кодом для вывода, доступным на GitHub, а веса модели планируется выпустить на Hugging Face в этом году. Кроме того, компания объявила, что её pipeline автоматической разметки Chain-of-Causation, который автоматически генерирует разметку на основе рассуждений из видеозаписей вождения, будет открыт для публичного доступа.
Вместе с Alpamayo 2 Super NVIDIA представила AlpaGym — фреймворк для обучения автономных транспортных средств с замкнутым контуром на основе обучения с подкреплением с открытым исходным кодом, и OmniDreams — генеративную модель мира, создающую фото-realistic среды для вождения. Эти инструменты предназначены для помощи разработчикам в решении редких сценариев и генерации длиннохвостых данных для надежного обучения моделей.
Для дальнейшей поддержки рабочих процессов разработки NVIDIA также представила новые навыки физических ИИ-агентов, включая Neural Reconstruction, работающий на основе NVIDIA Omniverse NuRec, который преобразует реальные данные флота в переиспользуемые 3D-сцены для симуляции и различных настроек датчиков. Сочетая эти технологии, NVIDIA надеется ускорить разработку автономных транспортных средств, одновременно повышая безопасность, эффективность и масштабируемость.