LinkedIn Développe de Nouvelles Techniques de Recommandation avec des Modèles Petits

LinkedIn innove dans les systèmes de recommandation d'emplois

LinkedIn, leader des systèmes de recommandation basés sur l'intelligence artificielle, implémente des techniques innovantes pour optimiser sa plateforme d'emplois. L'entreprise s'est éloignée de l'approche traditionnelle de **prompting** et s'est concentrée sur la distillation de petits modèles pour augmenter la précision et l'efficacité. Ce changement a été motivé par la nécessité de répondre aux nouvelles demandes des utilisateurs.

Erran Berger, vice-président de l'ingénierie produit chez LinkedIn, partage dans un podcast que l'entreprise a reconnu que la méthode de prompting était inviable. "Il n'y aurait pas moyen d'atteindre nos objectifs par cette approche, donc nous ne l'avons pas considérée pour les nouveaux systèmes de recommandation", déclare-t-il.

Ce faisant, l'équipe a élaboré un document de politiques de produits détaillé pour affiner un modèle initial de 7 milliards de paramètres, qui a ensuite été transformé en modèles plus petits, avec des centaines de millions de paramètres. Cette technique a généré un guide réutilisable pour les produits IA de l'entreprise.

L'Innovation par la Distillation Multi-Enseignant

Le focus de l'équipe était de créer un modèle de langage large (LLM) capable d'interpréter des requêtes d'emploi et des profils de candidats en temps réel. En collaboration avec l'équipe de gestion des produits, ils ont développé un document détaillant le scoring de paires de descriptions de travail et de profils.

"Nous avons effectué plusieurs itérations", raconte Berger. Le document a été combiné avec un ensemble de données composé de milliers de paires de requêtes et de profils. Ce matériel a été utilisé pour entraîner le modèle de 7 milliards de paramètres.

Cependant, le modèle a besoin de plus que de simples politiques de produits ; la prévision des clics et la personnalisation sont essentielles pour un système de recommandation efficace. Ainsi, l'équipe a développé un deuxième modèle axé sur cette prévision avant de créer une version encore plus petite pour l'entraînement.

Cette technique de distillation a permis à l'équipe de maintenir la fidélité à la politique de produits originale et d'améliorer la prévision des clics. Maintenant, l'approche module et componentise le processus de formation, facilitant les ajustements pour chaque élément.

La Collaboration entre Équipes à l'Ère de l'IA

Berger souligne l'importance de l'alignement entre les équipes de gestion des produits et les ingénieurs en apprentissage automatique. La création d'une politique de produits solide traduit l'expertise des gestionnaires dans un document unifié.

Traditionnellement, les équipes se concentraient sur des domaines distincts, mais maintenant elles travaillent ensemble pour créer des modèles alignés. "La façon dont les gestionnaires de produits interagissent avec les ingénieurs en apprentissage automatique a radicalement changé", commente-t-il.

Pour plus d'informations, écoutez le podcast complet et découvrez des détails sur l'optimisation du processus de recherche et de développement, l'importance des pipelines d'expérimentation et les pratiques traditionnelles de débogage en ingénierie.