Учёные Массачусетского технологического института (MIT) проанализировали 809 крупных языковых моделей, выпущенных с октября 2022 по март 2025 года, чтобы выяснить, что именно определяет их успехи. Результаты исследования опровергают распространённое мнение о наличии у лидеров рынка некой «секретной формулы».
Авторы работы выделили четыре ключевых фактора: объём вычислительных ресурсов, общие алгоритмические достижения, фирменные инженерные решения и индивидуальные особенности архитектуры. Оказалось, что 80–90% прогресса на переднем крае ИИ объясняется исключительно масштабом вычислений, используемых для обучения моделей.
3.39