LinkedIn Desenvolve Novas Técnicas de Recomendação com Modelos Pequenos

LinkedIn inova em sistemas de recomendação de empregos

LinkedIn, líder em sistemas de recomendação baseados em inteligência artificial, implementa técnicas inovadoras para otimizar sua plataforma de empregos. A empresa se distanciou da abordagem tradicional de **prompting** e focou na destilação de modelos pequenos para aumentar a precisão e a eficiência. Essa mudança foi motivada pela necessidade de atender às novas demandas dos usuários.

Erran Berger, Vice-Presidente de engenharia de produto da LinkedIn, compartilha em um podcast que a empresa reconheceu que o método de prompting era inviável. "Não haveria como atingir nossos objetivos através dessa abordagem, portanto não a consideramos para os novos sistemas de recomendação", afirma.

Com isso, a equipe elaborou um documento de políticas de produtos detalhado para refinar um modelo inicial com 7 bilhões de parâmetros, que foi posteriormente transformado em modelos menores, com centenas de milhões de parâmetros. Essa técnica gerou um guia reutilizável para os produtos de IA da empresa.

A Inovação Através da Destilação Multi-Professor

O foco da equipe foi criar um modelo de linguagem grande (LLM) capaz de interpretar consultas de emprego e perfis de candidatos em tempo real. Colaborando com a equipe de gerenciamento de produtos, eles desenvolveram um documento detalhando a pontuação de pares de descrições de empregos e perfis.

"Realizamos diversas iterações", conta Berger. O documento foi combinado com um conjunto de dados composto por milhares de pares de consultas e perfis. Esse material foi utilizado no treinamento do modelo de 7 bilhões de parâmetros.

No entanto, o modelo precisa de mais do que apenas políticas de produtos; a previsão de cliques e a personalização são essenciais para um sistema de recomendação eficaz. Portanto, a equipe desenvolveu um segundo modelo voltado para essa previsão antes de criar uma versão ainda menor para treinamento.

Essa técnica de destilação permitiu que a equipe mantivesse a fidelidade à política de produtos original e aprimorasse a previsão de cliques. Agora, a abordagem modula e componentiza o processo de treinamento, facilitando ajustes em cada elemento.

A Colaboração entre Equipes na Era da IA

Berger destaca a importância do alinhamento entre equipes de gerenciamento de produtos e engenheiros de aprendizado de máquina. A criação de uma política de produtos sólida traduz a expertise dos gerentes em um documento unificado.

Tradicionalmente, as equipes focavam em áreas distintas, mas agora trabalham juntas para criar modelos alinhados. "A forma como os gerentes de produto interagem com os engenheiros de aprendizado de máquina mudou radicalmente", comenta.

Para mais informações, ouça o podcast completo e conheça detalhes sobre a otimização do processo de pesquisa e desenvolvimento, a importância de pipelines de experimentação e as práticas tradicionais de depuração em engenharia.