Stanford et Nvidia optimisent les GPU 2x plus rapidement avec TTT-Discover

Les chercheurs optimisent les performances des GPU en utilisant TTT-Discover

Des chercheurs de Stanford, Nvidia et Together AI ont développé une technique innovante appelée TTT-Discover (Test-Time Training to Discover) qui améliore l'optimisation des codes sur GPU, permettant d'exécuter des algorithmes deux fois plus rapidement que ceux écrits par des experts humains, pendant le processus d'inférence.

Cette technique remet en question le paradigme actuel des modèles "figés", qui sont incapables d'apprendre après l'entraînement. Avec TTT-Discover, le modèle continue d'apprendre et d'ajuster ses poids tout en essayant de résoudre un problème spécifique.

Les limites des modèles 'figés'

Les modèles IA d'entreprise utilisent souvent des approches où les paramètres restent statiques. Bien que ces modèles soient efficaces sur des problèmes connus, ils échouent dans des situations qui nécessitent des solutions innovantes, comme la formulation d'algorithmes inédits.

Comme l'a mentionné Mert Yuksekgonul, un des auteurs de l'étude et doctorant à Stanford, "des modèles qui pensent ne pourraient pas prouver P != NP sans l'apprentissage pendant l'inférence, tout comme Andrew Wiles n'aurait pas prouvé le dernier théorème de Fermat sans des années d'efforts".

Une nouvelle approche de l'apprentissage par renforcement

Le TTT-Discover propose une avancée significative dans l'entraînement des modèles de raisonnement. Contrairement à l'apprentissage standard, qui vise une performance moyenne sur diverses tâches, cette technique se concentre sur la recherche de la solution idéale pour un problème spécifique.

Les chercheurs ont mis en œuvre deux composants clés qui différencient le TTT-Discover :

1. Objectif entropique : Ce composant permet au modèle d'ignorer les solutions moyennes et de chercher activement des résultats exceptionnels, potentiellement plus gratifiants.
2. Recherche PUCT : Une nouvelle stratégie de recherche arborescente inspirée par AlphaZero, qui explore différentes pistes de solution.

Cette technique est plus efficace sur des problèmes présentant un signal de récompense continu, permettant de suivre les améliorations progressives.

Considérations économiques sur l'inférence coûteuse

Les entreprises qui paient pour des appels API pourraient avoir besoin de changer leur approche, étant donné qu'un seul usage du TTT-Discover peut coûter environ 500 $. Cette technique s'avère plus avantageuse pour des actifs statiques et de grande valeur.

Par exemple, optimiser un code crucial dans une entreprise qui traite de grands volumes de données peut générer des économies significatives. Yuksekgonul affirme que cela est idéal pour les décisions à fort impact, où l'amélioration peut fournir un retour sur investissement immédiatement visible.

Considérations sur la mise en œuvre

Un avantage du TTT-Discover est qu'il ne nécessite pas de modèle propriétaire. Les chercheurs ont utilisé le gpt-oss-120b, un modèle open source, rendant le code disponible pour la communauté.

Cette flexibilité permet aux entreprises de réaliser leurs optimisations dans des environnements sécurisés, sans avoir besoin d'envoyer des données à des serveurs externes. "Si une entreprise utilise déjà l'apprentissage par renforcement, il n'y a pas besoin d'infrastructure supplémentaire", déclare Yuksekgonul.

Cas d'utilisation dans le monde réel

Le TTT-Discover a été appliqué dans quatre domaines techniques et a établi de nouvelles normes de performance dans de nombreux cas. Dans une expérience, l'optimisation des kernels de GPU pour la multiplication de matrices a atteint des vitesses jusqu'à deux fois plus rapides que les meilleures options précédentes.

La technique est particulièrement adaptée aux domaines nécessitant des signaux de progrès vérifiables, comme la logistique et la gestion des ressources, où il est essentiel de mesurer la performance de manière objective.

Perspectives d'avenir et implications

Le futur de l'adoption de l'IA en entreprise pourrait nécessiter l'évolution des systèmes pour prendre en charge l'apprentissage par problème. "Les entreprises doivent apprendre à spécifier des problèmes et à fournir des données de rétroaction internes pour que l'apprentissage au moment des tests soit efficace", conclut Yuksekgonul.

L'identification de problèmes qui pourraient bénéficier du TTT-Discover représente une nouvelle opportunité de transformer l'inférence en un laboratoire automatisé de R&D.