LinkedIn Desarrolla Nuevas Técnicas de Recomendación con Modelos Pequeños
TL;DR
LinkedIn innova en sistemas de recomendación de empleos utilizando nuevas técnicas basadas en modelos pequeños para mejorar la precisión y eficiencia.
LinkedIn innova en sistemas de recomendación de empleos
LinkedIn, líder en sistemas de recomendación basados en inteligencia artificial, implementa técnicas innovadoras para optimizar su plataforma de empleo. La empresa se ha alejado del enfoque tradicional de **prompting** y se ha centrado en la destilación de modelos pequeños para aumentar la precisión y la eficiencia. Este cambio fue motivado por la necesidad de satisfacer las nuevas demandas de los usuarios.
Erran Berger, Vicepresidente de ingeniería de producto de LinkedIn, comparte en un podcast que la empresa reconoció que el método de prompting era inviable. "No habría forma de alcanzar nuestros objetivos a través de este enfoque, por lo que no lo consideramos para los nuevos sistemas de recomendación", afirma.
Con esto, el equipo elaboró un documento de políticas de productos detallado para refinar un modelo inicial con 7 mil millones de parámetros, que fue posteriormente transformado en modelos más pequeños, con cientos de millones de parámetros. Esta técnica generó una guía reutilizable para los productos de IA de la empresa.
La Innovación a través de la Destilación Multi-Maestro
El foco del equipo fue crear un modelo de lenguaje grande (LLM) capaz de interpretar consultas de empleo y perfiles de candidatos en tiempo real. Colaborando con el equipo de gestión de productos, desarrollaron un documento detallando la puntuación de pares de descripciones de empleos y perfiles.
"Realizamos varias iteraciones", cuenta Berger. El documento fue combinado con un conjunto de datos compuesto por miles de pares de consultas y perfiles. Este material fue utilizado en el entrenamiento del modelo de 7 mil millones de parámetros.
Sin embargo, el modelo necesita más que solo políticas de productos; la predicción de clics y la personalización son esenciales para un sistema de recomendación eficaz. Por lo tanto, el equipo desarrolló un segundo modelo enfocado en esta predicción antes de crear una versión aún más pequeña para el entrenamiento.
Esta técnica de destilación permitió que el equipo mantuviera la fidelidad a la política de productos original y mejorara la predicción de clics. Ahora, el enfoque modula y componentiza el proceso de entrenamiento, facilitando ajustes en cada elemento.
La Colaboración entre Equipos en la Era de la IA
Berger destaca la importancia de la alineación entre los equipos de gestión de productos e ingenieros de aprendizaje automático. La creación de una política de productos sólida traduce la experiencia de los gerentes en un documento unificado.
Tradicionalmente, los equipos se enfocaban en áreas distintas, pero ahora trabajan juntos para crear modelos alineados. "La forma en que los gerentes de producto interactúan con los ingenieros de aprendizaje automático ha cambiado radicalmente", comenta.
Para más información, escuche el podcast completo y conozca los detalles sobre la optimización del proceso de investigación y desarrollo, la importancia de pipelines de experimentación y las prácticas tradicionales de depuración en ingeniería.
Contenido seleccionado y editado con asistencia de IA. Fuentes originales referenciadas arriba.
