NVIDIA выпускает предварительные версии Isaac Sim 5.0 и Isaac Lab 2.2 для разработчиков на GitHub

Технологическая фирма NVIDIA представила предварительные версии для разработчиков двух платформ, ориентированных на робототехнику — Isaac Sim и Isaac Lab, — предлагающих ранний доступ к инструментам для моделирования, обучения и тестирования роботов с искусственным интеллектом в физических виртуальных средах. Эти фреймворки, теперь общедоступные на GitHub, предназначены для поддержки разработки робототехники с помощью расширенных рабочих процессов моделирования и генерации синтетических данных.

Isaac Sim, созданный на платформе NVIDIA Omniverse, функционирует как эталонное приложение для создания и оценки интеллектуальных роботизированных систем в реалистичных цифровых условиях. Версия 5.0 включает важное обновление: открытый исходный код расширений, специфичных для Isaac Sim. Выделенный репозиторий GitHub теперь позволяет разработчикам получать доступ к этим компонентам и использовать их, хотя основные элементы Omniverse Kit остаются проприетарными, и внешние вклады в настоящее время не принимаются. Эта публичная ветка разработки будет регулярно поддерживаться инкрементными обновлениями и исправлениями ошибок. Полные бинарные выпуски, соответствующие стандартам обеспечения качества NVIDIA, будут доступны после официального запуска 5.0.

Обновление представляет несколько новых возможностей, разработанных для улучшения рабочих процессов синтетических данных для разработки робототехнического ИИ. Сюда входит MobilityGen, расширение, которое позволяет создавать разнообразные наборы данных с учетом физики для моделей восприятия, таких как карты занятости, поля скорости, позы и изображения. Новое руководство облегчает автоматическую генерацию данных о схватывании, имитируя попытки схватывания и фиксируя показатели производительности для поддержки обучения и оценки модели.

Дополнительный писатель для Omniverse Replicator был оптимизирован для совместимости с входом NVIDIA Cosmos Transfer. Это улучшение упрощает экспорт синтетических наборов данных и поддерживает как автономные, так и управляемые Script Editor рабочие процессы, обеспечивая бесшовную интеграцию с существующими конвейерами Isaac Sim.

Расширенная функциональность также включает новые рабочие процессы, которые позволяют генерировать синтетические данные в более крупных и сложных физических средах. Моделирование инцидентов представляет множество триггеров реальных сценариев, в то время как генерация подписей обеспечивает автоматизированные аннотации для обогащения наборов данных, используемых для ИИ на основе зрения. Эти новые инструменты, наряду с усовершенствованиями существующих процессов моделирования актеров и объектов, предназначены для повышения эффективности и точности производства обучающих данных для робототехники и приложений ИИ.

Isaac Sim 5.0 предлагает усовершенствования, направленные на повышение эффективности и реалистичности моделирования робототехники, в частности, за счет обновленных стандартов моделирования роботов и оптимизированных процессов импорта. Недавно введенная схема робота устанавливает единый формат для defining роботов с использованием OpenUSD, который теперь реализован в растущей библиотеке роботизированных активов NVIDIA, включая недавно добавленные модели. Импортеры роботов были обновлены для соответствия этой схеме, а недавно разработанный Robot Import Wizard предоставляет управляемый пошаговый интерфейс для упрощения оснастки и интеграции роботов в среды моделирования.

Последняя схема также включает поддержку обновленной модели трения суставов, указанной в рамках OpenUSD. Эта модель включает в себя подробные параметры привода и трения, созданные в сотрудничестве с Hexagon Robotics и maxon, для лучшего воспроизведения механического поведения физических систем. Захватывая реалистичную динамику суставов и двигателей, эта функция помогает сократить разрыв между имитацией и реальной производительностью, делая виртуальные среды тестирования более надежными для разработки приложений.

Isaac Sim 5.0 также расширяет возможности моделирования датчиков платформы, обеспечивая более точную работу. definition и оценка моделей датчиков. Новая схема OmniSensor USD позволяет использовать собственную спецификацию датчиков на основе RTX в формате USD. Это сопровождается введением модели датчика глубины, которая обеспечивает реалистичную стереофоническую симуляцию глубины, включая артефакты несоответствия для отражения фактических ограничений датчика. Библиотека активов датчика также была расширена дополнительными моделями для поддержки более широкого спектра потребностей в моделировании, улучшая контроль и точность в рабочих процессах разработки систем восприятия.

Ключевые инновации в Isaac Lab 

Isaac Lab, платформа NVIDIA с открытым исходным кодом, разработанная специально для обучения и оценки моделей роботизированного обучения, получила обновления в версии 2.2. Одним из ключевых дополнений является поддержка бенчмаркинга GR00T N1, что упрощает замкнутый цикл процесса, включающий генерацию данных, процедуры постобучения и оценку моделей NVIDIA Isaac GR00T N с открытым фундаментом. Эта функциональность может применяться к структурированным задачам, таким как заливка орехов и сортировка труб, предлагая последовательную методологию для измерения производительности.

Обновление также улучшает генерацию синтетического движения, обеспечивая более надежный сбор данных при выполнении задач по манипулированию роботом, особенно при использовании NVIDIA Двуручная учебная среда Isaac GR00T-Mimic. Интеграция с Omniverse Fabric еще больше повышает эффективность Isaac Lab, что приводит к сокращению времени загрузки и более оптимизированному выполнению физических симуляций и получению данных датчиков. Недавно представленный тензорный захват с присоской расширяет набор инструментов, доступных для моделирования, обеспечивая более адаптивный и реалистичный подход к моделированию поведения захвата — важная функция для точного обучения с подкреплением в сценариях роботизированной манипуляции.