Особое внимание в DeepSeekMath-V2 уделено проблеме «галлюцинаций», когда модель выдаёт правильный ответ, используя ошибочные или бессмысленные рассуждения. Для решения этой проблемы авторы работы разработали новый подход, основанный на «мета-верификации». Он заключается в том, что другая нейросеть оценивает качество анализа, проведённого основной моделью, предотвращая «подтасовку» результатов.

В основе архитектуры лежит конвейер обучения Cold Start. Вместо использования огромных наборов данных формальных математических доказательств, модель итеративно генерирует собственные обучающие данные. Это позволяет ей совершенствоваться, не требуя больших объёмов размеченных данных, созданных человеком. Во время работы модель генерирует 64 варианта решения задачи, а затем выбирает наиболее логически обоснованный.

Выпуск DeepSeekMath-V2 стал ответом на задержки в разработке флагманской модели R2, вызванные проблемами с поставками оборудования.