Некоторые эволюционные алгоритмы сохраняют только лучших исполнителей в популяции, исходя из предположения, что прогресс движется бесконечно вперёд. ДГМ, однако, сохраняют всех, на случай, если инновация, которая изначально потерпела неудачу, на самом деле станет ключом к прорыву позже, после дальнейшей доработки. Это форма «открытого исследования», не закрывающего путей к прогрессу (ДГМ всё же отдают приоритет агентам с более высокими баллами при выборе предков).

Учёные запустили ДГМ на 80 итераций, используя эталонный код SWE-bench, и на 80 итераций, используя эталонный код Polyglot. Баллы агентов улучшились на SWE-bench с 20% до 50%, а на Polyglot — с 14% до 31%.

«Мы были действительно очень удивлены, что агент мог сам написать такой сложный код», — сказала Дженни Чжан, учёный из Университета Британской Колумбии и ведущий автор статьи. «Он мог редактировать несколько файлов, создавать новые файлы и создавать действительно сложные системы». Важно, что ДГМ превзошли альтернативный метод, который использовал внешнюю систему для улучшения агентов. С ДГМ улучшения агентов накапливались по мере того, как они улучшали себя в улучшении себя. ДГМ также превзошли версию, которая не поддерживала популяцию агентов и просто модифицировала последнего агента. Лучший агент SWE-bench был не так хорош, как лучший агент, разработанный людьми, который набрал около 70%, но он был сгенерирован автоматически, и, возможно, с достаточным временем и вычислительными мощностями агент сможет превзойти человеческую экспертизу.

Агенты могут стать неинтерпретируемыми или перестать следовать указаниям человека. Поэтому Чжан и её коллеги добавили ограждения. Они держали ДГМ в песочницах без доступа к Интернету или операционной системе и регистрировали и проверяли все изменения кода. Они предполагают, что в будущем продолжат исследование с вознаграждением агентов за то, что они делают себя более интерпретируемыми и согласованными.