Федеральная торговая комиссия (FTC) США начала расследование деятельности семи технологических компаний, разрабатывающих чат-ботов для несовершеннолетних. Под пристальным вниманием регулятора оказались Alphabet, CharacterAI, Instagram, Meta*, OpenAI, Snap и xAI. Цель расследования – оценить, как компании оценивают безопасность и монетизацию своих продуктов, какие меры принимаются для минимизации негативного влияния на детей и подростков, и информируются ли родители о потенциальных рисках.
Технология чат-ботов вызвала неоднозначную реакцию из-за случаев причинения вреда детям. В частности, OpenAI и Character.AI столкнулись с судебными исками от семей детей, совершивших самоубийство после общения с чат-ботами. Даже при наличии защитных механизмов, блокирующих или смягчающих опасные разговоры, пользователи любого возраста находят способы их обойти. В одном из случаев подросток вёл месячный диалог с ChatGPT о планах суицида. Хотя чат-бот изначально пытался перенаправить подростка к специалистам и службам экстренной помощи, ему удалось добиться от ChatGPT подробных инструкций, которые он затем использовал. Как писала OpenAI в своем блоге: «Наши защитные механизмы работают надёжнее в коротких, обычных диалогах. С течением времени мы поняли, что эти механизмы могут быть менее надёжными в длительных взаимодействиях: по мере развития диалога эффективность обучения модели безопасности может снижаться».
