OpenAI объявила, что возможности видео и совместного использования экрана, продемонстрированные во время весеннего обновления, не войдут в эту альфа-версию и будут запущены позже. Некоторые премиум-пользователи получат доступ к голосовой функции ChatGPT, показанной в демонстрации.

Расширенный голосовой режим отличается от текущего решения ChatGPT для аудио, которое использует три отдельные модели. GPT-4o является мультимодальным и может обрабатывать эти задачи без помощи вспомогательных моделей, создавая голосовые ответы со значительно меньшей задержкой. OpenAI также утверждает, что GPT-4o может улавливать эмоциональные интонации в голосе, включая грусть, волнение и распознавать пение.

Компания сообщила, что выпускает голос ChatGPT постепенно, чтобы внимательно следить за его использованием. Участники альфа-группы получат оповещение в приложении ChatGPT, а затем электронное письмо с инструкциями по его использованию.

Голосовые возможности GPT-4o были протестированы на 45 языках. OpenAI также ввела новые фильтры для блокировки определённых запросов на создание музыки или других аудиоматериалов, защищённых авторским правом.

Advanced Voice Mode будет ограничен четырьмя предустановленными голосами ChatGPT — Juniper, Breeze, Cove и Ember — созданными в сотрудничестве с платными актёрами озвучивания. ChatGPT не может имитировать голоса других людей и будет блокировать выходные данные, которые отличаются от одного из этих предустановленных голосов.