Sakana AI apresenta Text-to-LoRA: uma hiper-rede para gerar adaptadores LLM específicos para tarefas

Empresa de IA sediada no Japão IA Sakana introduziu uma nova abordagem chamada Text-to-LoRA, uma arquitetura de hiper-rede projetada para gerar módulos de Adaptação de Baixo Nível (LoRA) específicos para tarefas para grandes modelos de linguagem (LLMs) com base em descrições de tarefas textuais.

Este método se inspira em sistemas biológicos, particularmente na forma como organismos vivos podem se adaptar rapidamente a estímulos ambientais usando informações limitadas — como, por exemplo, a forma como a visão humana se ajusta a condições variáveis ​​de luminosidade. Em contraste, os LLMs modernos, embora capazes e com amplo conhecimento, normalmente exigem ajustes finos trabalhosos e grandes conjuntos de dados para se adaptarem a tarefas específicas.

A conversão de texto para LoRA, ou T2L, aborda esse desafio treinando uma hiper-rede para interpretar um prompt em linguagem natural que descreve uma tarefa e, em seguida, produzir um adaptador LoRA correspondente, otimizado para essa tarefa. Resultados experimentais sugerem que o T2L pode codificar com eficácia uma ampla gama de módulos LoRA preexistentes. Embora a compressão introduza alguma perda, os adaptadores resultantes ainda alcançam desempenho comparável àqueles ajustados diretamente para a tarefa.

Além disso, o T2L demonstra a capacidade de generalizar para novas tarefas não observadas durante o treinamento, desde que haja uma descrição clara em texto. A força do sistema reside em sua eficiência — ele produz adaptadores LoRA por meio de uma única etapa de geração leve, sem necessidade de ajustes finos adicionais específicos para cada tarefa.

Esse desenvolvimento reduz as barreiras associadas à personalização de modelos básicos, tornando viável para usuários com conhecimento técnico mínimo ou recursos computacionais limitados criar comportamentos de modelos especializados usando apenas linguagem natural.

Sakana avança IA inspirada na natureza 

A Sakana AI é uma organização de pesquisa em IA sediada em Tóquio que explora o desenvolvimento de IA por meio de metodologias influenciadas por sistemas naturais. Em vez de depender de modelos únicos e de larga escala, a empresa se concentra na combinação de múltiplos modelos menores e autônomos para funcionar como um coletivo coordenado, traçando paralelos conceituais com sistemas biológicos, como cardumes de peixes. Essa estratégia enfatiza a adaptabilidade, a eficiência no uso de recursos e a escalabilidade a longo prazo.

A empresa recentemente introduzido A Máquina de Darwin Gödel, um agente de IA automodificável capaz de revisar seu próprio código. Inspirado pela teoria evolucionária, este sistema mantém uma linhagem de agentes variantes, permitindo experimentação e refinamento contínuos em um amplo espectro de arquiteturas autoaprimoráveis.