PageIndex mejora la precisión en la búsqueda de documentos largos con un 98,7%

PageIndex revoluciona la búsqueda en documentos largos

El PageIndex, un nuevo framework de código abierto, ofrece una solución a uno de los problemas persistentes en el campo de la generación aumentada por recuperación (RAG): la búsqueda en documentos extensos. El framework alcanza una tasa de precisión del 98,7% en sus búsquedas, donde los métodos tradicionales fallan.

Tradicionalmente, el RAG implica la fragmentación de documentos, el cálculo de embeddings (representaciones vectoriales) y el almacenamiento en una base de datos vectorial. Este método es eficaz para tareas simples, como preguntas y respuestas en documentos pequeños.

No obstante, PageIndex abandona este enfoque lineal y redefine la búsqueda como un problema de navegación, en lugar de solo búsqueda.

Innovación a través de la búsqueda en árbol

PageIndex utiliza un concepto de inteligencia artificial de juegos – búsqueda en árbol. En lugar de escanear cada párrafo, el sistema imita el comportamiento humano, consultando una tabla de contenido virtual que mapea la estructura del documento.

Este modelo crea un Índice Global donde nodos representan capítulos y secciones del documento. Cuando se realiza una consulta, el sistema lleva a cabo una búsqueda en árbol, clasificando cada nodo como relevante o irrelevante según el contexto de la solicitud del usuario.

Según Mingtian Zhang, cofundador de PageIndex, este enfoque transforma la recuperación pasiva en una navegación activa, mejorando la eficiencia en la búsqueda de información relevante.

Desafíos del RAG tradicional

El enfoque tradicional del RAG presenta limitaciones significativas en datos complejos. La recuperación vectorial asume que el texto más similar semánticamente a una consulta es el más relevante, lo cual no siempre es cierto, especialmente en dominios profesionales.

Zhang ejemplifica con reportes financieros, donde una consulta sobre EBITDA puede devolver múltiples secciones con el término, pero solo una contiene la definición precisa deseada. Esto revela la brecha entre la intención del usuario y el contenido disponible.

Adicionalmente, los modelos de embeddings suelen ignorar el contexto completo de la conversación al tratar una consulta, haciendo que la búsqueda sea menos eficaz.

Problemas de razonamiento multi-hop

El enfoque estructural de PageIndex brilla en consultas de multi-hop, donde es necesario seguir pistas en diferentes partes de un documento. En pruebas de referencia, como FinanceBench, el sistema Mafin 2.5, construido sobre PageIndex, obtuvo una precisión del 98,7%.

Por ejemplo, una consulta sobre el valor total de activos diferidos en un informe de la Reserva Federal puede resultar en fallos en sistemas vectoriales, que no pueden reconocer referencias internas. PageIndex, sin embargo, localiza información relevante siguiendo la estructura del documento, garantizando precisión en las respuestas.

Cambio de latencia e infraestructura simplificada

Uno de los desafíos inmediatos para la implementación de PageIndex es el tiempo de latencia. Las consultas vectoriales ocurren en milisegundos, mientras que la búsqueda en árbol puede introducir retrasos. Sin embargo, Zhang explica que esta latencia puede ser imperceptible, ya que la recuperación ocurre en línea durante el proceso de razonamiento del modelo.

Este modelo también simplifica la infraestructura de datos. Al eliminar la necesidad de una base de datos vectorial, PageIndex permite almacenar el índice estructural en una base de datos relacional tradicional, como PostgreSQL.

Decidiendo entre técnicas de búsqueda

A pesar de las mejoras en precisión de PageIndex, este enfoque no reemplaza universalmente las búsquedas vectoriales. Es más adecuado para documentos largos y estructurados, donde el costo de error es elevado.

Para documentos más cortos, donde el contexto es fácilmente comprensible, la búsqueda vectorial puede ser más eficiente. PageIndex se destaca en escenarios que requieren alta auditabilidad y un camino claro hacia la respuesta, como manuales técnicos y documentación legal.

El futuro de la recuperación proactiva

El ascenso de frameworks como PageIndex indica una tendencia más amplia en la pila de IA: el movimiento hacia el RAG Agente, donde la responsabilidad de la recuperación de datos se está transfiriendo del nivel de base de datos al nivel de modelo.

Esto ya es visible en áreas como el desarrollo de código, donde agentes están reemplazando búsquedas vectoriales simples por la exploración activa de bases de código. Zhang cree que la recuperación de documentos seguirá esta misma trayectoria, señalando una evolución en las autoridades tradicionales de las bases de datos.