Генеральный директор OpenAI Сэм Альтман признал, что последние обновления GPT-4o сделали его «слишком подхалимским и раздражающим», а также объяснил, почему так вышло.

В последних обновлениях OpenAI начала использовать данные с кнопок «палец вверх» и «палец вниз» в ChatGPT в качестве «дополнительного сигнала вознаграждения». Однако OpenAI заявила, что это могло «ослабить влияние нашего основного сигнала вознаграждения, который сдерживал подхалимство». Компания отмечает, что отзывы пользователей «иногда могут благоприятствовать более приятным ответам», вероятно, усугубляя чрезмерно приятные высказывания чат-бота. Компания заявила, что память также может усиливать подхалимство.

OpenAI утверждает, что одна из «ключевых проблем» запуска связана с процессом тестирования. Хотя офлайн-оценки модели и A/B-тестирование дали положительные результаты, некоторые эксперты-тестировщики предположили, что обновление сделало чат-бот «слегка не таким». Несмотря на это, OpenAI все равно продолжила обновление.

Изображение Midjourney

Оглядываясь назад, качественные оценки намекали на что-то важное, и нам следовало бы обратить на это более пристальное внимание. Они уловили слепое пятно в наших других оценках и метриках. Наши офлайн-оценки не были достаточно широкими или глубокими, чтобы уловить подхалимское поведение… и наши A/B-тесты не имели правильных сигналов, чтобы показать, как модель работает на этом фронте с достаточной детализацией.

OpenAI

OpenAI заявляет, что собирается «формально рассмотреть поведенческие проблемы» как потенциально способные заблокировать запуски, а также создать новую фазу альфа-тестирования, которая позволит пользователям напрямую давать OpenAI обратную связь перед более широким развертыванием. OpenAI также планирует гарантировать, что пользователи будут знать об изменениях, которые она вносит в ChatGPT, даже если обновление будет небольшим.

На прошлой неделе Сэм Альтман заявил, что компания внесет исправления, чтобы устранить «льстивую и раздражающую» личность чат-бота, проявившуюся после апдейта.