Implementa 'observational memory' e reduz custos de AI em até 10x

Introdução ao Observational Memory

A observational memory (memória observacional) é uma nova abordagem em arquitetura de memória que promete reduzir os custos de agentes de inteligência artificial (IA) em até 10 vezes. Desenvolvida pela Mastra, essa tecnologia se destaca na melhoria do desempenho em benchmarks de longa duração em comparação com o sistema RAG (Retrieval-Augmented Generation).

Como Funciona

Diferentemente do sistema RAG, que busca contexto dinamicamente, a memória observacional utiliza dois agentes de fundo chamados Observer (Observador) e Reflector para comprimir o histórico de conversas em um log datado de observações. Essa abordagem elimina a necessidade de recuperação dinâmica de informações, o que simplifica a arquitetura.

Processo de Compressão

No processo, a memória observacional divide a janela de contexto em dois blocos: um contém observações comprimidas e datadas, enquanto o outro mantém o histórico de mensagens da sessão atual. Quando a quantidade de mensagens atinge 30.000 tokens, o Observer comprime essas informações e as adiciona ao primeiro bloco, descartando as mensagens originais.

Impacto Econômico

A economia trazida pela memória observacional provém do prompt caching, que reduz os custos de tokens em até 10 vezes em comparação aos prompts não armazenados em cache. Enquanto a maioria dos sistemas de memória modifica o prompt a cada interação, resultando em ineficiências de custo, a memória observacional mantém a estabilidade do contexto, permitindo um cache eficaz.

Vantagens em Relação à Compactação Tradicional

A maioria dos agentes de codificação utiliza um método de compactação que resume toda a história apenas quando a janela de contexto está prestes a transbordar. Isso pode resultar em perdas de detalhes críticos. Em contraste, a memória observacional processa pequenas porções de dados com mais frequência, produzindo um log de decisões que é mais eficaz para a execução de tarefas consistentes.

Casos de Uso Empresarial

A memória observacional atende a várias aplicações empresariais, desde chatbots em plataformas de gerenciamento de conteúdo até sistemas de gerenciamento de alertas para equipes de engenharia. O requisito comum entre essas aplicações é a manutenção de contexto ao longo de meses, permitindo que os agentes façam referência a conversas passadas sem que os usuários precisem repetir informações.

Significado para Sistemas de IA em Produção

A introdução da memória observacional representa uma abordagem arquitetônica alternativa aos bancos de dados vetoriais e às pipelines RAG dominantes no mercado atual. Sua arquitetura simplificada e estabilidade no contexto criam um ambiente propício para debug e manutenção fáceis. A possibilidade de armazenamento em cache viável para reduzir custos transforma a proposta em uma solução aliada ao desempenho em larga escala.

Considerações Finais

Para equipes empresariais que estão avaliando abordagens de memória para IA, questões sobre a necessidade de manutenção de contexto, tolerância à compressão de dados e a necessidade de recuperação dinâmica são fundamentais. A memória observacional pode ser ideal para aqueles que necessitam de agentes que preservem a continuidade do trabalho e do histórico do usuário. Conforme as IAs se tornam parte integrante de sistemas de registro e produção, o design da memória se torna tão crítico quanto a escolha do modelo tecnológico.