Reduce los costos de inferencia en IA con la plataforma

Reducción de costos de inferencia en IA

Nvidia anunció que su plataforma Blackwell permite que cuatro principales proveedores de inferencia reduzcan los costos por token hasta 10 veces. Este análisis, divulgado el jueves, destaca cómo las mejoras en hardware y software colaboran para esta reducción.

Las mejoras fueron válidas para sectores como salud, juegos y atención al cliente. Un estudio de implementación de Baseten, DeepInfra, Fireworks AI y Together AI revela cómo las empresas escalan la inteligencia artificial (IA) de proyectos piloto a millones de usuarios.

Modelo de optimización y sus implicaciones

Según el análisis, la reducción de costos depende del uso conjunto del hardware Blackwell, de pilas de software optimizadas y de la transición de modelos propietarios a modelos open-source. La simple mejora de hardware resultó en ganancias de hasta 2x, pero la reducción mayor requiere la adopción de formatos de baja precisión, como el NVFP4.

Dion Harris, director senior de soluciones HPC y AI de Nvidia, afirmó: "El rendimiento es lo que impulsa la reducción del costo de inferencia". Esta lógica implica que el aumento del throughput, la capacidad de procesar más datos simultáneamente, resulta en precios menores por token.

Casos de éxito en la práctica

Nvidia detalló cuatro casos de éxito que ilustran la combinación de infraestructura Blackwell, pilas de software optimizadas y modelos open-source. Un ejemplo es Sully.ai, que redujo los costos de inferencia en salud en 90%, al transitar a modelos open-source, ahorrando millones de minutos de médicos.

Otro caso, Latitude, reportó una reducción de 4x en los costos de inferencia para su plataforma AI Dungeon, disminuyendo el costo por millón de tokens de 20 centavos (en la plataforma Hopper) a 5 centavos tras la adopción del NVFP4. Este cambio técnico fue crucial para optimizar costos.

La referencia a la Fundación Sentient muestra una mejora de 25% a 50% en la eficiencia de costos en su plataforma de chat, gracias al uso del stack optimizado para inferencia de Fireworks AI. Este aumento en la eficiencia es vital, especialmente cuando la latencia es un factor crítico.

Factores técnicos que influyen en la reducción de costos

La gama de reducciones de 4x a 10x refleja diferentes combinaciones de optimizaciones, con tres factores principales en destaque:

• Adocción de formatos de precisión: El NVFP4, por ejemplo, reduce el número de bits necesarios para representar pesos de modelos, permitiendo mayor computación por ciclo de GPU.
• Arquitectura de modelo: Modelos de mezcla de especialistas (MoE) aprovechan la comunicación rápida proporcionada por la arquitectura NVLink de Blackwell, haciéndolos más eficientes.
• Integración de pilas de software: La enfoque de co-diseño de Nvidia facilita la optimización del hardware y software, resultando en una mejora en el rendimiento.

Evaluación y pruebas necesarias

Las empresas que planean migrar a la inferencia con Blackwell deben evaluar si sus cargas de trabajo justifican cambios de infraestructura. Shruti Koparkar, de Nvidia, sugiere que las empresas deben considerar el volumen de solicitudes y la sensibilidad a la latencia de las aplicaciones.

Pruebas con cargas de producción reales son esenciales. Koparkar observa que métricas de throughput pueden no reflejar condiciones reales de operación. El modelo de enfoque en etapas utilizado por Latitude puede ser una guía práctica mientras las empresas evalúan mejoras de costo y eficiencia.

Variedad de proveedores y consideraciones económicas

Aunque Blackwell es una opción prometedora, otras plataformas como AMD MI300 y Google TPU también ofrecen alternativas. Evaluaciones sólidas deben considerar los costos totales, incluyendo overhead operacional, y no solo el costo por token, para determinar el enfoque más económico.

Con el mercado de inferencia en constante evolución, las empresas deben estar listas para explorar diferentes proveniencias, optimizar sus flujos de trabajo y, en última instancia, adoptar soluciones que mejor satisfagan sus necesidades específicas.