Nvidia lance DreamDojo, modèle d'IA pour former des robots

Nvidia a annoncé le DreamDojo, un nouveau système d'intelligence artificielle (IA) conçu pour enseigner aux robots à interagir avec le monde physique. Utilisant 44 000 heures de vidéos d'humains, cette avancée vise à réduire le temps et les coûts de formation des robots humanoïdes.

La étude, publiée récemment, est le fruit de la collaboration d'institutions telles que UC Berkeley et Stanford. Les chercheurs affirment que le DreamDojo représente le "premier modèle de monde robotique" avec une forte capacité de généralisation dans divers objets et environnements.

Au cœur du DreamDojo se trouve un ensemble de données vidéo important, appelé DreamDojo-HV, qui contient des vidéos de 44 000 heures. Cet ensemble est considéré comme le plus grand pour le pré-entraînement de modèles de monde, surpassant les données précédentes en termes d'échelle et de diversité.

Modèle d'entraînement en deux phases

Le système fonctionne en deux phases distinctes. Tout d'abord, le DreamDojo "acquiert une connaissance physique complète à partir d'ensembles de données humains à grande échelle". Ensuite, il passe par un "entraînement post-entraînement" avec des actions continues des robots, apprenant par observation avant de toucher des objets physiques.

Cette méthode aide à surmonter un goulet d'étranglement critique. Traditionnellement, enseigner à un robot à manipuler des objets nécessite la collecte de grandes quantités de données spécifiques, ce qui est coûteux et long. Le DreamDojo utilise des vidéos existantes, permettant aux robots d'apprendre simplement en observant.

Une des innovations techniques est la vitesse. Avec un processus de distillation, les chercheurs ont atteint "des interactions en temps réel à 10 FPS pendant plus de 1 minute", rendant possibles des applications pratiques telles que la téléopération et la planification dynamique. L'équipe a démontré le système sur plusieurs plateformes robotiques, y compris GR-1 et G1, montrant des "exécutions réalistes" dans divers environnements.

L'investissement de Nvidia dans la robotique

Le lancement survient à un moment crucial pour les ambitions robotiques de Nvidia. Dans une déclaration au Forum Économique Mondial, le PDG Jensen Huang a déclaré que la robotique en IA représente une "opportunité unique" pour les régions disposant de bases industrielles solides. Il prévoit que la prochaine décennie sera cruciale pour le développement accéléré de la technologie robotique.

Les enjeux financiers sont très élevés. Huang a affirmé que les dépenses en infrastructures des entreprises technologiques pourraient atteindre 660 milliards USD cette année, caractérisant le moment comme