Nvidia dévoile Dynamic Memory Sparsification et divise les coûts des LLM par 8
Nvidia sort la technique Dynamic Memory Sparsification, qui compresse la mémoire utilisée par les modèles de langage (LLM) jusqu’à 8 fois sans perte de performance. Résultat ? Les entreprises pourront servir plus d’utilisateurs sur la même machine, booster leur capacité de raisonnement à moindre frais et réduire la facture d’énergie. Pratique pour passer du chatbot à l’IA super costaud sans changer toute son infrastructure !
Voir l'article
