PageIndex melhora precisão na busca de documentos longos com 98,7%

PageIndex revoluciona a busca em documentos longos

O PageIndex, um novo framework de código aberto, oferece uma solução para um dos problemas persistentes no campo da geração aumentada por recuperação (RAG): a busca em documentos extensos. O framework alcança uma taxa de precisão de 98,7% em suas buscas, onde os métodos tradicionais falham.

Tradicionalmente, o RAG envolve a fragmentação de documentos, o cálculo de embeddings (representações vetoriais) e o armazenamento em um banco de dados vetorial. Esse método é eficaz para tarefas simples, como perguntas e respostas em documentos pequenos.

No entanto, o PageIndex abandona essa abordagem linear e redefine a busca como um problema de navegação, em vez de apenas procura.

Inovação através da busca em árvore

O PageIndex utiliza um conceito de inteligência artificial de jogos – busca em árvore. Ao invés de escanear cada parágrafo, o sistema imita o comportamento humano, consultando uma tabela de conteúdo virtual que mapeia a estrutura do documento.

Esse modelo cria um Índice Global onde nós representam capítulos e seções do documento. Quando uma consulta é feita, o sistema realiza uma busca em árvore, classificando cada nó como relevante ou irrelevante com base no contexto da solicitação do usuário.

Segundo Mingtian Zhang, co-fundador do PageIndex, essa abordagem transforma a recuperação passiva em uma navegação ativa, melhorando a eficiência na busca de informações relevantes.

Desafios do RAG tradicional

A abordagem tradicional do RAG apresenta limitações significativas em dados complexos. A recuperação vetorial presume que o texto mais semelhante semanticamente a uma consulta é o mais relevante, o que nem sempre é verdade, especialmente em domínios profissionais.

Zhang exemplifica com relatórios financeiros, onde uma consulta sobre EBITDA pode retornar múltiplas seções com o termo, mas apenas uma contém a definição precisa desejada. Isso revela a lacuna entre a intenção do usuário e o conteúdo disponível.

Adicionalmente, os modelos de embeddings costumam ignorar o contexto completo da conversa ao tratar uma consulta, tornando a busca menos eficaz.

Problemas de raciocínio multi-hop

A abordagem estrutural do PageIndex brilha em consultas de multi-hop, onde é necessário seguir pistas em diferentes partes de um documento. Em testes de benchmark, como o FinanceBench, o sistema Mafin 2.5, construído sobre o PageIndex, obteve uma precisão de 98,7%.

Por exemplo, uma consulta sobre o valor total de ativos diferidos em um relatório do Federal Reserve pode resultar em falhas em sistemas vetoriais, que não conseguem reconhecer referências internas. O PageIndex, no entanto, localiza informações relevantes seguindo a estrutura do documento, garantindo precisão nas respostas.

Troca de latência e infraestrutura simplificada

Um dos desafios imediatos para a implementação do PageIndex é o tempo de latência. Consultas vetoriais ocorrem em milissegundos, enquanto a busca em árvore pode introduzir atrasos. Contudo, Zhang explica que essa latência pode ser imperceptível, já que a recuperação acontece em linha durante o processo de raciocínio do modelo.

Esse modelo também simplifica a infraestrutura de dados. Ao eliminar a necessidade de um banco de dados vetorial, o PageIndex permite armazenar o índice estrutural em um banco de dados relacional tradicional, como o PostgreSQL.

Decidindo entre técnicas de busca

Apesar dos ganhos de precisão do PageIndex, esta abordagem não substitui universalmente as buscas vetoriais. É mais indicada para documentos longos e estruturados, onde o custo de erro é elevado.

Para documentos mais curtos, onde o contexto é facilmente compreensível, a busca vetorial pode ser mais eficiente. O PageIndex se destaca em cenários que demandam alta auditabilidade e um caminho claro para a resposta, como manuais técnicos e documentação legal.

O futuro da recuperação proativa

A ascensão de frameworks como o PageIndex indica uma tendência mais ampla na pilha de IA: o movimento em direção ao RAG Agente, onde a responsabilidade pela recuperação de dados está se transferindo do nível de banco de dados para o nível de modelo.

Isso já é visível em áreas como desenvolvimento de código, onde agentes estão substituindo buscas vetoriais simples por exploração ativa de bases de código. Zhang acredita que a recuperação de documentos seguirá essa mesma trajetória, sinalizando uma evolução nas autoridades tradicionais dos bancos de dados.