NVIDIA publie des aperçus pour les développeurs d'Isaac Sim 5.0 et d'Isaac Lab 2.2 sur GitHub

Entreprise de technologie NVIDIA a présenté des aperçus pour les développeurs de deux plateformes axées sur la robotique – Isaac Sim et Isaac Lab – offrant un accès anticipé à des outils de simulation, d'entraînement et de test de robots pilotés par l'IA dans des environnements virtuels fidèles aux normes physiques. Ces frameworks, désormais accessibles au public sur GitHub, visent à soutenir le développement robotique grâce à des workflows de simulation avancés et à la génération de données synthétiques.

Isaac Sim, développé sur la plateforme NVIDIA Omniverse, sert d'application de référence pour la création et l'évaluation de systèmes robotiques intelligents dans des environnements numériques réalistes. La version 5.0 inclut une mise à jour importante : l'open source des extensions spécifiques à Isaac Sim. Un dépôt GitHub dédié permet désormais aux développeurs d'accéder à ces composants et de les utiliser. Cependant, les éléments clés du kit Omniverse restent propriétaires et les contributions externes ne sont pas acceptées pour le moment. Cette branche de développement publique sera régulièrement mise à jour avec des mises à jour incrémentielles et des corrections de bugs. Des versions binaires complètes, conformes aux normes d'assurance qualité de NVIDIA, seront disponibles dès le lancement officiel de la version 5.0.

Cette mise à jour introduit plusieurs nouvelles fonctionnalités visant à améliorer les flux de données synthétiques pour le développement de l'IA robotique. Parmi celles-ci, MobilityGen, une extension permettant de créer des jeux de données diversifiés, basés sur la physique, pour les modèles de perception, tels que les cartes d'occupation, les champs de vitesse, les poses et l'imagerie. Un nouveau tutoriel facilite la génération automatisée de données de saisie, simulant les tentatives de saisie et capturant des indicateurs de performance pour faciliter l'entraînement et l'évaluation des modèles.

Un scripteur supplémentaire pour Omniverse Replicator a été optimisé pour la compatibilité avec l'entrée NVIDIA Cosmos Transfer. Cette amélioration simplifie l'exportation de jeux de données synthétiques et prend en charge les workflows autonomes et pilotés par l'éditeur de scripts, permettant une intégration transparente avec les pipelines Isaac Sim existants.

Les fonctionnalités étendues incluent également de nouveaux workflows permettant la génération de données synthétiques dans des environnements physiques plus vastes et plus complexes. La simulation d'incidents introduit divers déclencheurs de scénarios réels, tandis que la génération de légendes fournit des annotations automatisées pour enrichir les jeux de données utilisés pour l'IA basée sur la vision. Ces nouveaux outils, ainsi que les améliorations apportées aux processus existants de simulation d'acteurs et d'objets, sont conçus pour améliorer l'efficacité et la fidélité de la production de données d'entraînement pour les applications de robotique et d'IA.

Isaac Sim 5.0 apporte des améliorations visant à accroître l'efficacité et le réalisme de la simulation robotique, notamment grâce à des normes de modélisation robotiques actualisées et à des processus d'importation simplifiés. Un nouveau schéma robotique établit un format unifié pour defiLe développement de robots s'effectue via OpenUSD, désormais implémenté dans la bibliothèque croissante de ressources robotiques de NVIDIA, y compris les modèles récemment ajoutés. Les importateurs de robots ont été mis à jour pour s'aligner sur ce schéma, et un nouvel assistant d'importation de robots propose une interface guidée, étape par étape, pour simplifier le montage et l'intégration des robots dans les environnements de simulation.

Le dernier schéma prend également en charge un modèle de frottement articulaire mis à jour, spécifié dans le framework OpenUSD. Ce modèle intègre des paramètres détaillés d'actionneur et de frottement, créés en collaboration avec Hexagon Robotics et maxon, afin de mieux reproduire le comportement mécanique des systèmes physiques. En capturant des dynamiques articulaires et motrices réalistes, cette fonctionnalité permet de réduire l'écart entre les performances simulées et réelles, rendant ainsi les environnements de test virtuels plus fiables pour le développement d'applications.

Isaac Sim 5.0 améliore également les capacités de simulation des capteurs de la plateforme, permettant des simulations plus précises. defiDéfinition et évaluation des modèles de capteurs. Un nouveau schéma USD OmniSensor permet la spécification native des capteurs RTX au format USD. Ce nouveau schéma s'accompagne de l'introduction d'un modèle de capteur de profondeur offrant une simulation stéréoscopique réaliste de la profondeur, incluant des artefacts de disparité reflétant les limites réelles des capteurs. La bibliothèque de capteurs a également été enrichie de modèles supplémentaires pour répondre à un plus large éventail de besoins de simulation, améliorant ainsi le contrôle et la fidélité des flux de développement des systèmes de perception.

Principales innovations du laboratoire Isaac 

Isaac Lab, le framework open source de NVIDIA conçu spécifiquement pour l'entraînement et l'évaluation des modèles d'apprentissage robotique, a été mis à jour dans sa version 2.2. L'un des principaux ajouts est la prise en charge de l'analyse comparative GR00T N1, qui facilite un processus en boucle fermée impliquant la génération de données, les procédures post-entraînement et l'évaluation des modèles de fondations ouvertes Isaac GR00T N de NVIDIA. Cette fonctionnalité peut être appliquée à des tâches structurées telles que le coulage d'écrous et le tri de tuyaux, offrant ainsi une méthodologie cohérente pour la mesure des performances.

La mise à jour améliore également la génération de mouvements synthétiques, permettant une collecte de données plus fiable dans les tâches de manipulation de robots, en particulier lors de l'utilisation NVIDIA L'environnement d'entraînement bimanuel d'Isaac GR00T-Mimic. Son intégration avec Omniverse Fabric améliore encore l'efficacité d'Isaac Lab, réduisant ainsi les temps de chargement et optimisant l'exécution des simulations physiques et l'acquisition de données de capteurs. Une nouvelle pince à ventouse tensorisée enrichit les outils de simulation, offrant une approche plus adaptable et plus réaliste de la modélisation du comportement de préhension, une fonctionnalité essentielle pour un apprentissage par renforcement précis dans les scénarios de manipulation robotique.