DALL-E создает иллюстрации, фотографии и рендеры на основе простого описания. Например, она может изобразить «кота в галстуке-бабочке» или «дайкона в пачке, выгуливающего собаку». CLIP определяет объекты и классифицирует их, основываясь на простом описании.

Например, так выглядит результат, созданный нейросетью по запросу «Крутая панда катится на скейте в Санта-Монике»

Пока доступ к новой версии открыт только для группы пользователей через список ожидания. Пользователям запрещено загружать или создавать изображения, которые «могут причинить вред», включая все, что связано с символами ненависти, наготой, непристойными жестами или «заговорами или событиями, связанными с текущими геополитическими событиями». Они также должны раскрывать роль ИИ в создании изображений. Позже нейросеть добавят в API, чтобы ей могли пользоваться сторонние разработчики.

Авторы заметили, что система DALLE-2, которая создает изображения на основе введенного текста, при определенных обстоятельствах будет возвращать бессмысленные слова. Например, изображения со словом «самолет» часто возвращают какую-то тарабарщину. Сначала казалось, что это баг, но потом ученые пришли к выводу, что последовательность букв в возвращаемых словах не случайная.

Чтобы проверить это, ученые просто «скормили» нейросети сгенерированные ей ранее слова. Оказалось, что эти наборы букв и правда имеют значение для программы, причём они означают то же, что и ранее было введено в систему. Это может означать, что нейросеть зачем-то преобразует человеческие слова в свои, чтобы затем на их основе проще сгенерировать изображения.