Sakana AI apresenta agente de autoaperfeiçoamento que aumenta o desempenho em até 50% no SWE-Bench

Empresa japonesa de IA IA Sakana introduziu a Máquina de Darwin Gödel (DGM), um agente automodificável capaz de alterar seu próprio código. Inspirado em princípios evolucionários, o sistema mantém uma linhagem crescente de variantes de agentes, permitindo a exploração contínua dentro da ampla gama de designs de agentes autoaprimoráveis.

Embora os sistemas de agentes atuais sejam tipicamente estáticos e imutáveis ​​após a implantação, o DGM enfatiza o autoaperfeiçoamento contínuo como um fator crucial para o avanço das capacidades de IA. A máquina foi projetada para suportar sistemas de IA que podem aprender e desenvolver suas habilidades ao longo do tempo, de forma semelhante ao desenvolvimento humano.

O DGM representa um avanço notável em direção a sistemas de IA capazes de identificar e desenvolver, de forma autônoma, seus próprios marcos de aprendizagem para inovar continuamente. O sistema expande seu arquivo selecionando um agente de sua coleção existente e empregando um modelo base para gerar uma variante nova e aprimorada desse agente. Esse processo de exploração aberta cria uma árvore crescente de agentes diversos e de alta qualidade, permitindo a exploração simultânea de múltiplos caminhos dentro do espaço de busca. 

Resultados empíricos demonstram que o DGM aprimora suas habilidades de codificação ao longo do tempo — aprimorando ferramentas como edição de código, gerenciamento de contexto longo e mecanismos de revisão por pares —, resultando em melhor desempenho em benchmarks como SWE-bench (de 20.0% para 50.0%) e Polyglot (de 14.2% para 30.7%). O sistema supera consistentemente modelos de base que carecem de autoaperfeiçoamento ou capacidades exploratórias abertas.

Notavelmente, a evolução em direção ao agente mais eficaz às vezes envolveu processos intermediários agentes que tiveram desempenho pior que seus predecessores, mas foram mantidos na linhagem, ilustrando as vantagens de uma estratégia de busca aberta. Essa abordagem preserva um arquivo diversificado de agentes intermediários úteis, em vez de focar exclusivamente na ramificação a partir do agente de melhor desempenho, demonstrando que o progresso nem sempre segue um caminho linear.

A pesquisa indica ainda que o desempenho aprimorado dos agentes descobertos pelo DGM pode ser generalizado em diferentes modelos de base, como a transferência do Claude para o o3-mini, e em várias linguagens de programação e domínios de tarefas, incluindo Python, Rust, C++, Go e outros.

Sakana AI: Desenvolvendo Sistemas de IA Inspirados na Natureza e na Inteligência Coletiva

A Sakana AI é uma empresa de pesquisa em IA sediada em Tóquio, focada no desenvolvimento de sistemas de IA inspirados em processos naturais. A abordagem da empresa envolve a integração de vários modelos menores e autônomos para formar uma inteligência coletiva, semelhante ao funcionamento de um cardume de peixes. Esse método se diferencia dos modelos tradicionais de IA em larga escala por priorizar a adaptabilidade, a eficiência de recursos e a sustentabilidade a longo prazo.

Entre os projetos de pesquisa da Sakana AI está a técnica “Evolutionary Model Merge”, que aplica algoritmos evolutivos para combinar modelos de IA existentes. Esse processo gera novos modelos com capacidades específicas, minimizando a necessidade de amplo poder computacional. Além disso, a Sakana AI desenvolveu a técnica “ Cientista de IA ”, um sistema projetado para automatizar a pesquisa científica, permitindo que modelos de base realizem investigações e processos de descoberta de forma independente.