Sakana AI представляет самосовершенствующийся агент, который повышает производительность до 50% на SWE-Bench

Японская компания ИИ Сакана ИИ представила Машину Дарвина-Геделя (DGM), самомодифицирующегося агента, способного изменять свой собственный код. Черпая вдохновение из эволюционных принципов, система поддерживает растущую линию вариантов агентов, позволяя проводить постоянные исследования в широком диапазоне самосовершенствующихся конструкций агентов.

В то время как текущие агентские системы обычно статичны и неизменны после развертывания, DGM подчеркивает постоянное самосовершенствование как решающий фактор для развития возможностей ИИ. Машина предназначена для поддержки систем ИИ, которые могут обучаться и развивать свои способности с течением времени, подобно развитию человека.

DGM представляет собой заметный шаг вперед в направлении систем ИИ, способных автономно определять и опираться на собственные этапы обучения для постоянного внедрения инноваций. Система расширяет свой архив, выбирая агента из существующей коллекции и используя базовую модель для создания нового, улучшенного варианта этого агента. Этот процесс открытого исследования создает растущее дерево разнообразных, высококачественных агентов, позволяя одновременно исследовать несколько путей в пространстве поиска. 

Эмпирические результаты показывают, что DGM со временем улучшает свои возможности кодирования — улучшая такие инструменты, как редактирование кода, управление длинным контекстом и механизмы рецензирования, — что приводит к повышению производительности на таких бенчмарках, как SWE-bench (с 20.0% до 50.0%) и Polyglot (с 14.2% до 30.7%). Система постоянно превосходит базовые модели, которым не хватает возможностей самосовершенствования или открытого исследования.

Примечательно, что эволюция в сторону наиболее эффективного агента иногда включала промежуточные этапы. агенты которые показали худшие результаты, чем их предшественники, но были сохранены в родословной, иллюстрируя преимущества стратегии открытого поиска. Этот подход сохраняет разнообразный архив полезных промежуточных агентов, а не фокусируется исключительно на ответвлении от самого эффективного агента, демонстрируя, что прогресс не всегда следует линейному пути.

Исследование также показывает, что улучшенная производительность агентов, обнаруженная DGM, может быть обобщена для различных базовых моделей, таких как переход от Claude к o3-mini, а также для различных языков программирования и областей задач, включая Python, Rust, C++, Go и другие.

Sakana AI: разработка систем искусственного интеллекта, вдохновленная природой и коллективным разумом

Sakana AI — это исследовательская компания ИИ, базирующаяся в Токио и занимающаяся разработкой систем ИИ, вдохновленных естественными процессами. Подход компании заключается в интеграции нескольких меньших автономных моделей для формирования коллективного интеллекта, аналогичного тому, как действует стая рыб. Этот метод отличается от традиционных крупномасштабных моделей ИИ, уделяя приоритетное внимание адаптивности, эффективности использования ресурсов и долгосрочной устойчивости.

Среди исследовательских проектов Sakana AI есть метод «Evolutionary Model Merge», который применяет эволюционные алгоритмы для объединения существующих моделей ИИ. Этот процесс генерирует новые модели с целевыми возможностями, минимизируя при этом потребность в обширной вычислительной мощности. Кроме того, Sakana AI разработала « Ученый ИИ », система, предназначенная для автоматизации научных исследований, позволяющая базовым моделям независимо проводить исследования и процессы открытий.